[논문 리뷰] Self-Supervised Deep Active Accelerated MRI

Kyong Hwan Jin, Michaël Unser외 1명|arXiv (Cornell University)|2019. 01. 14.

Medical Imaging Techniques and Applications참고 문헌 33인용 수 47

한 줄 요약

저자들은 몬테 카를로 트리 탐색(MCTS)에 의해 가이드되는 자기지도 프레임워크를 사용하여 가속 MRI의 샘플링과 재구성을 공동으로 학습하고, 두 네트워크(ReconNet와 SampleNet)를 훈련시켜 고정된 샘플링 예산 하에서 재구성 품질을 향상시킨다.

ABSTRACT

We propose to simultaneously learn to sample and reconstruct magnetic resonance images (MRI) to maximize the reconstruction quality given a limited sample budget, in a self-supervised setup. Unlike existing deep methods that focus only on reconstructing given data, thus being passive, we go beyond the current state of the art by considering both the data acquisition and the reconstruction process within a single deep-learning framework. As our network learns to acquire data, the network is active in nature. In order to do so, we simultaneously train two neural networks, one dedicated to reconstruction and the other to progressive sampling, each with an automatically generated supervision signal that links them together. The two supervision signals are created through Monte Carlo tree search (MCTS). MCTS returns a better sampling pattern than what the current sampling network can give and, thus, a better final reconstruction. The sampling network is trained to mimic the MCTS results using the previous sampling network, thus being enhanced. The reconstruction network is trained to give the highest reconstruction quality, given the MCTS sampling pattern. Through this framework, we are able to train the two networks without providing any direct supervision on sampling.

연구 동기 및 목표

• 가속 MRI를 샘플링과 재구성 문제로서의 공동화된 문제로 동기화한다.
• 데이터 획득과 이미지 재구성을 모두 학습하는 자기지도 프레임워크를 개발한다.
• 직접적인 샘플링 감독 없이 샘플링 전략과 이미지 품질을 최적화하기 위해 두 개의 연계된 네트워크(ReconNet와 SampleNet)를 훈련한다.
• 샘플링 설계와 재구성을 통합하면 고정 패턴 방법보다 우수한 결과를 도출한다를 입증한다.

제안 방법

• ReconNet은 고품질 재구성을 위한 네트워크이고 SampleNet은 다음 샘플링 위치를 제안하는 네트워크를 제안한다.
• 일괄적이고 한 번에 하나의 샘플링을 수행하는 방식으로 점진적으로 샘플링하고 네트워크를 자체 생성 감독으로 연결한다.
• Monte Carlo tree search(MCTS)를 사용하여 재구성을 개선하는 샘플링 패턴을 생성하고 두 네트워크를 안내한다.
• MCTS로 샘플링된 데이터에 대해 PSNR 기반 감독으로 ReconNet을 훈련하고, 교차 엔트로피 손실을 사용하여 샘플넷이 MCTS 정책을 모방하도록 훈련한다.
• 경험 재생을 통한 자기지도 라운드로 네트워크를 반복적으로 업데이트하여 학습의 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 샘플링 예산 하에서 MRI 품질을 최대화하기 위해 샘플링 패턴 설계가 재구성과 함께 공동으로 학습될 수 있는가?
• RQ2 MCTS를 통한 자기지도 학습이 샘플링과 재구성 네트워크를 공동으로 훈련하는 데 효과적인 가이드를 제공하는가?
• RQ3 제안된 프레임워크가 가속 MRI에서 고정 패턴 샘플링 및 재구성 파이프라인과 비교하여 어떠한가?
• RQ4 진행적 샘플링과 MCTS 주도 감독이 PSNR과 같은 재구성 지표에 미치는 영향은 무엇인가?

주요 결과

• 방법은 기존 접근법(인용된 기준선의 33.52 dB 대 27.73 dB)보다 더 높은 PSNR을 달성한다.
• 두 네트워크를 공동으로 훈련한 ReconNet과 SampleNet이 고정 패턴 샘플링 방식보다 성능이 우수하다.
• MCTS로 생성된 샘플링 패턴이 샘플링 네트워크 단독보다 재구성 품질이 더 좋다.
• 직접 샘플링 라벨 없이 자체 생성 감독에 의존한 학습으로 획득 및 재구성을 엔드투엔드 최적화할 수 있다.
• 프레임워크는 VDS+TV 및 LCS+TV와 같은 기준선에 비해 심장 및 무릎 MRI 데이터셋에서 성능 향상을 시연한다.