[논문 리뷰] Semi-Supervised Learning of Mutually Accelerated MRI Synthesis without Fully-Sampled Ground Truths

Mahmut Yurt, Salman Ul Hassan Dar외 4명|arXiv (Cornell University)|2020. 11. 29.

Radiomics and Machine Learning in Medical Imaging참고 문헌 63인용 수 6

한 줄 요약

이 논문은 완전히 샘플링된 기준 영상에 의존하지 않고, 원천 및 대상 대비의 부족한 k-space 데이터에서 직접 고품질의 MRI 대비를 합성하는 반감성 생성 적대 신경망인 ssGAN을 제안한다. 랜덤 샘플링 마스크를 사용하여 영상, k-space 및 적대적 도메인에서 다중 코ils 텐서 손실을 활용함으로써, 고가속도 요인(R=10까지)에서도 완전히 감독된 모델과 동등한 성능을 달성하며, 연속적인 재구성-합성 파이프라인을 능가한다.

ABSTRACT

Learning-based synthetic multi-contrast MRI commonly involves deep models trained using high-quality images of source and target contrasts, regardless of whether source and target domain samples are paired or unpaired. This results in undesirable reliance on fully-sampled acquisitions of all MRI contrasts, which might prove impractical due to limitations on scan costs and time. Here, we propose a novel semi-supervised deep generative model that instead learns to recover high-quality target images directly from accelerated acquisitions of source and target contrasts. To achieve this, the proposed model introduces novel multi-coil tensor losses in image, k-space and adversarial domains. These selective losses are based only on acquired k-space samples, and randomized sampling masks are used across subjects to capture relationships among acquired and non-acquired k-space regions. Comprehensive experiments on multi-contrast neuroimaging datasets demonstrate that our semi-supervised approach yields equivalent performance to gold-standard fully-supervised models, while outperforming a cascaded approach that learns to synthesize based on reconstructions of undersampled data. Therefore, the proposed approach holds great promise to improve the feasibility and utility of accelerated MRI acquisitions mutually undersampled across both contrast sets and k-space.

연구 동기 및 목표

• 긴 스캔 시간과 높은 비용으로 인해 다중 대비 합성을 위한 완전히 샘플링된 고품질 MRI 데이터 확보가 비현실적이라는 문제를 해결하기 위해.
• 딥 러닝 기반 MRI 합성에서 짝지어진 완전히 샘플링된 원천 및 대상 대비 영상에 대한 의존도를 줄이기 위해.
• 완전히 샘플링된 데이터가 아닌 부족한 k-space 데이터로 훈련하면서도 완전히 감독된 모델과 동등한 합성 품질을 유지하는 반감성 학습 프레임워크를 개발하기 위해.
• 중간 재구성 단계를 포함하는 연속적 파이프라인에서의 오류 전파를 방지하고, 가속화된 촬영에서부터 직접 목표 대비 복구를 위한 엔드 투 엔드 학습을 가능하게 하기 위해.
• 훈련을 위해 오직 부족한 쌍화된 촬영 데이터만을 사용하는 것이 강건한 MRI 합성 모델 개발의 가능성 여부를 입증하기 위해.

제안 방법

• 원천 및 대상 대비의 부족한 k-space 데이터에서 직접 훈련되는 새로운 반감성 GAN 프레임워크인 ssGAN을 제안한다.
• 수집된 k-space 샘플에만 의존하는 영상, k-space 및 적대적 도메인에서의 다중 코일 텐서 손실을 도입한다.
• 다양한 환자에 걸쳐 랜덤 샘플링 마스크를 사용하여 수집된 영역와 수집되지 않은 k-space 영역 간의 관계를 모델링한다.
• 코일 결합 영상 투영과 선택적 손실 함수를 사용하여 합성 과정에서 공간적 및 대비 특화 정밀도를 유지한다.
• 적대적 훈련을 통한 조건부 GAN 설정을 적용하여 합성 영상의 정서적 품질과 구조적 세부 정보를 향상시킨다.
• 부족한 데이터에서 유일하게 유도된 손실을 함께 최적화함으로써 생성자와 판별자 모두를 엔드 투 엔드로 훈련시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 완전히 샘플링된 기준 영상이 필요 없이 고품질의 MRI 대비 합성을 달성할 수 있는가?
• RQ2 부족한 데이터로 훈련된 반감성 GAN 프레임워크가 완전히 감독된 모델의 성능을 따라잡을 수 있는가?
• RQ3 랜덤 k-space 샘플링 마스크를 사용하면 일반화 능력 향상과 고공간 주파수 성분 복구에 도움이 되는가?
• RQ4 부족한 데이터에서의 엔드 투 엔드 학습은 중간 재구성 단계를 포함하는 연속적 접근 방식과 비교해 어떻게 다른가?
• RQ5 제안된 방법은 제한된 훈련 데이터로도 고가속도 요인(R=10 등)에서 성능을 유지할 수 있는가?

주요 결과

• ssGAN는 완전히 샘플링된 원천 데이터가 필요한 황금 표준 완전 감독 모델인 pix2pix와 동등한 합성 성능를 달성한다.
• 먼저 부족한 데이터를 재구성하고 나서 대비를 합성하는 연속적 접근(CasGAN)보다 오류 전파가 줄어들고 계산 복잡도가 낮아, 성능 면에서 뛰어나다.
• 목표 대비에 대해 R=10까지의 고가속도 요인에서도 거의 최적의 성능를 유지하며, 데이터 및 스캔 시간 요구량을 크게 줄였다.
• 선택적 다중 코일 텐서 손실과 랜덤 k-space 마스킹을 활용하여 고부하 부족 샘플링에 대해 강건함을 입증했다.
• 작은 크기의 데이터셋으로도 효과적인 훈련이 가능함을 보여주어 높은 데이터 효율성을 시사한다.
• 손실 및 네트워크 아키텍처의 채널별 확장 가능성을 통해 다중 대비 및 교차 모odal 합성 작업으로의 확장이 가능하다.