[논문 리뷰] End-to-End Sequential Sampling and Reconstruction for MRI

Tianwei Yin, Zihui Wu외 4명|arXiv (Cornell University)|2021. 05. 13.

Medical Imaging Techniques and Applications인용 수 5

한 줄 요약

이 논문은 가속화된 MRI를 위한 순차적 k-space 샘플링과 영상 복원을 동시에 학습하는 엔드 투 엔드 미분 가능한 프레임워크를 제안한다. 촬영 중 중간 측정값을 활용함으로써 모델은 정보가 풍부한 k-space 샘플을 적응적으로 선택하며, fastMRI 무릎 데이터셋에서 4배 가속화 조건에서 테스트 샘플의 96.96%에서 최신 기술 수준 성능을 달성한다.

ABSTRACT

Accelerated MRI shortens acquisition time by subsampling in the measurement $κ$-space. Recovering a high-fidelity anatomical image from subsampled measurements requires close cooperation between two components: (1) a sampler that chooses the subsampling pattern and (2) a reconstructor that recovers images from incomplete measurements. In this paper, we leverage the sequential nature of MRI measurements, and propose a fully differentiable framework that jointly learns a sequential sampling policy simultaneously with a reconstruction strategy. This co-designed framework is able to adapt during acquisition in order to capture the most informative measurements for a particular target. Experimental results on the fastMRI knee dataset demonstrate that the proposed approach successfully utilizes intermediate information during the sampling process to boost reconstruction performance. In particular, our proposed method can outperform the current state-of-the-art learned $κ$-space sampling baseline on over 96% of test samples. We also investigate the individual and collective benefits of the sequential sampling and co-design strategies.

연구 동기 및 목표

• 지속적인 MRI 촬영을 빠르게 하기 위해 지능적인 샘플링을 통해 데이터 수집을 가속화하는 데 도전한다.
• 개별 해부학적 특징에 적응하지 않는 정적 사전 설계 샘플링 패턴의 한계를 극복한다.
• 공통의, 미분 가능한 프레임워크에서 샘플링 정책과 복원 네트워크를 공동 설계함으로써 복원 정밀도를 향상시킨다.
• 촬영 중에 적응하는 순차적 샘플링(샘플링 결정이 촬영 도중 변화함)이 비순차적 접근 방식보다 어떤 이점이 있는지 탐색한다.
• 엔드 투 엔드 훈련이 샘플러와 복원기의 비미분 가능하거나 별도 최적화 전략보다 더 효과적인 공동 설계를 가능하게 함을 보여준다.

제안 방법

• 각 단계가 서로 다른 샘플러와 복원기를 포함하는 T단계의 순차적 결정 과정으로 MRI 촬영을 수식화한다.
• 중간에 복원된 영상과 이전 측정값을 기반으로 k-space 위치를 선택하는 신경망 기반 샘플러를 사용한다.
• 모든 시스템을 타임스텝을 거쳐 역전파를 사용해 엔드 투 엔드로 훈련함으로써 샘플링 및 복원 구성 요소의 기울기 기반 최적화를 가능하게 한다.
• 부분적인 k-space 데이터를 처리하고 각 단계에서 점점 더 정확한 영상을 생성하는 미분 가능한 복원 네트워크를 도입한다.
• 복원 품질(예: SSIM, MSE)을 최적화하면서도 샘플러가 정보가 풍부한 k-space 영역을 향해 유도하는 공동 손실 함수를 구현한다.
• 비순차 기준 모델의 복원기 입력을 무작위 텐서로 교체하여 순차적 적응의 이점을 고립한다.

실험 결과

연구 질문

• RQ1 공동 최적화된 순차적 샘플링 및 복원 프레임워크가 가속화된 MRI에서 비순차적 사전 설계 샘플링 패턴을 능가할 수 있는가?
• RQ2 샘플러와 복원기를 비미분 가능하거나 별도로 최적화하는 것에 비해, 엔드 투 엔드 미분 가능한 훈련이 복원 성능 향상에 얼마나 기여하는가?
• RQ3 순차적 샘플링 단계 수를 늘릴수록 복원 품질과 수렴성은 어떻게 변화하는가?
• RQ4 순차적 샘플링과 공동 설계가 전체 성능 향상에 기여하는 개별 및 종합적 기여도는 각각 얼마인가?
• RQ5 이 프레임워크는 실제 MRI 데이터에서 다양한 가속도 요인과 해부학적 구조에 대해 일반화 가능한가?

주요 결과

• 제안된 4단계 순차적 모델은 fastMRI 싱글코ils 무릎 데이터셋에서 4배 가속도 조건에서 테스트 샘플의 96.96%에서 LOUPE 기준보다 뛰어난 성능을 보였으며, 8배 가속도에서는 92.62%, 16배 가속도에서는 76.91%에서 승리했다.
• 단일 순차적 단계라도 비순차 기준보다 성능 향상이 뚜렷하게 이루어지며, 적응형 샘플링의 가치를 입증한다.
• 더 많은 순차적 단계를 사용할수록 성능 향상이 이루어지지만, 수익 감소 현상이 나타나 4단계에서 과적합 없이 강력한 성능 향상을 달성함을 시사한다.
• 샘플러와 복원기를 공동 설계함으로써, 4배 가속도 조건에서 무작위 샘플링으로 훈련된 고정 복원기 대비 SSIM이 2.33~2.51 향상되었다.
• 제거 분석 결과 성능 향상 요인이 순차적 적응과 공동 설계에 기인한 것이며, 단지 아키텍처 개선 때문이 아니라는 점을 확인했다.
• 모든 테스트 가속도 요인에서 최신 기술 수준의 성능을 달성했으며, 이는 이전의 학습된 비순차 기준보다 통계적으로 유의미한 향상이다.