[논문 리뷰] Zero-Shot Self-Supervised Learning for MRI Reconstruction

Burhaneddin Yaman, Seyed Amir Hossein Hosseini외 1명|arXiv (Cornell University)|2021. 02. 15.

Medical Imaging Techniques and Applications참고 문헌 22인용 수 32

한 줄 요약

제로샷 자체지도 학습(ZS-SSL) 프레임워크를 제안하여 단일 언더샘플드 스캔으로 주제별 가속 MRI 재구성을 수행하고, 자동화된 조기 종료 검증 및 선택적 전달 학습이 가능하다. 외부 학습 데이터 없이 수집에 따른 변동에 대한 강건성을 높인다.

ABSTRACT

Deep learning (DL) has emerged as a powerful tool for accelerated MRI reconstruction, but often necessitates a database of fully-sampled measurements for training. Recent self-supervised and unsupervised learning approaches enable training without fully-sampled data. However, a database of undersampled measurements may not be available in many scenarios, especially for scans involving contrast or translational acquisitions in development. Moreover, recent studies show that database-trained models may not generalize well when the unseen measurements differ in terms of sampling pattern, acceleration rate, SNR, image contrast, and anatomy. Such challenges necessitate a new methodology to enable subject-specific DL MRI reconstruction without external training datasets, since it is clinically imperative to provide high-quality reconstructions that can be used to identify lesions/disease for \emph{every individual}. In this work, we propose a zero-shot self-supervised learning approach to perform subject-specific accelerated DL MRI reconstruction to tackle these issues. The proposed approach partitions the available measurements from a single scan into three disjoint sets. Two of these sets are used to enforce data consistency and define loss during training for self-supervision, while the last set serves to self-validate, establishing an early stopping criterion. In the presence of models pre-trained on a database with different image characteristics, we show that the proposed approach can be combined with transfer learning for faster convergence time and reduced computational complexity. The code is available at \url{https://github.com/byaman14/ZS-SSL}.

연구 동기 및 목표

• 외부 데이터세트에 의존하지 않는 주제별 MRI 재구성 방법을 고안한다.
• k-공간 데이터를 학습, 손실 계산 및 검증으로 분할하는 제로샷 자체지도 학습 프레임워크를 개발한다.
• 외부 검증 데이터 없이 과적합을 방지하기 위한 자동 종료 기준을 제공한다.
• 다양한 샘플링 패턴, 가속률, SNR, 대비 및 해부학에 대한 강건성 및 일반화 가능성을 시연한다.
• 사전 학습된 모델이 존재할 때 전달 학습을 통해 수렴 속도를 높일 수 있음을 보여준다

제안 방법

• 단일 스캔으로 얻은 획득된 k-공간을 세 가지 비교 가능하지 않은 집합으로 분할한다: Θ는 데이터 일관성 업데이트를 위한 집합, Λ는 손실 계산을 위한 집합, Γ는 자체 검증을 위한 집합이다.
• Ω∖Γ에서 생성된 다수의 (Θk, Λk) 마스크를 사용하여 데이터-일관성 손실 over Λk를 갖는 다중 언롤된 물리 기반 DL MRI 재구성 네트워크를 훈련한다.
• θ를 최적화하는 동안 k-공간 검증 손실을 Γ에서 모니터링하여 자동 조기 종료 기준을 정의한다.
• 전이 학습을 통한 사전 학습된 모델에서 시작(ZS-SSL-TL)하여 수렴 속도와 계산량을 줄일 수 있다.
• 무완전 샘플링(reference) 없이 무릎 및 뇌 MRI에 대해 복소수 입력(real+imag)을 사용하는 10-반복 언롤드 아키텍처에서 CG-SENSE/ResNet 기반 블록을 활용; 정규화된 손실 ℓ1–ℓ2와 Adam 옵티마이저로 엔드투엔드 훈련.
• 완전 샘플링된 참조 없이도 훈련을 시연하고 PSNR 및 SSIM으로 평가한다

실험 결과

연구 질문

• RQ1 제로샷의 주제별 DL MRI 재구성이 외부 학습 데이터 없이도 경쟁력 있는 품질을 달성할 수 있는가?
• RQ2 세 가지 세트의 k-공간 분할이 효과적인 자기지도 학습과 과적합 방지를 위한 자동 종료를 가능하게 하는가?
• RQ3 사전 학습된 모델이 존재할 때 전달 학습이 수렴 속도와 계산량을 더 개선할 수 있는가?
• RQ4 샘플링 패턴, 가속, 대비, SNR 및 해부학의 도메인 이동에 대해 ZS-SSL-TL이 기존의 감독 방식과 비교해 얼마나 잘 작동하는가?

주요 결과

• ZS-SSL은 학습 및 테스트 데이터가 일치할 때 데이터베이스 학습 방법과 유사한 재구성을 초래하는 무아크아티팩트 및 고품질 재구성을 달성한다.
• ZS-SSL-TL은 ZS-SSL보다 더 빨리 수렴하여 전체 훈련 시간을 단축한다.
• ZS-SSL-TL은 도메인 이동 하에서 밴딩 아티팩트 및 잔류 별칭화를 일부 감독 방법보다 더 효과적으로 완화한다.
• ZS-SSL 및 ZS-SSL-TL은 데이터베이스 학습 PG-DLR에 비해 샘플링 패턴, 가속, 대비, SNR 및 해부학의 변화에 대한 강건성이 우수하다.
• 주제별 ZS-SSL은 대규모 학습 데이터가 필요 없고 스캔별 전달 학습과의 호환성을 유지하여 품질과 계산량 사이의 균형을 맞춘다