[논문 리뷰] mustGAN: Multi-Stream Generative Adversarial Networks for MR Image Synthesis

Mahmut Yurt, Salman Ul Hassan Dar외 3명|arXiv (Cornell University)|2019. 09. 25.

Advanced Image Processing Techniques인용 수 10

한 줄 요약

이 논문은 T1-, T2-, PD-, FLAIR-weighted 뇌 MRI 시퀀스를 더 높은 선명도와 낮은 노이즈로 합성하기 위해 대비별 특징을 위한 one-to-one 스트림과 공유 특징을 위한 many-to-one 스트림을 조합하고, 이를 적응적으로 융합하는 다중 스트림 생성 적대 신경망인 mustGAN을 제안한다. 이 방법은 합성 품질을 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-contrast MRI protocols increase the level of morphological information available for diagnosis. Yet, the number and quality of contrasts is limited in practice by various factors including scan time and patient motion. Synthesis of missing or corrupted contrasts can alleviate this limitation to improve clinical utility. Common approaches for multi-contrast MRI involve either one-to-one and many-to-one synthesis methods. One-to-one methods take as input a single source contrast, and they learn a latent representation sensitive to unique features of the source. Meanwhile, many-to-one methods receive multiple distinct sources, and they learn a shared latent representation more sensitive to common features across sources. For enhanced image synthesis, here we propose a multi-stream approach that aggregates information across multiple source images via a mixture of multiple one-to-one streams and a joint many-to-one stream. The shared feature maps generated in the many-to-one stream and the complementary feature maps generated in the one-to-one streams are combined with a fusion block. The location of the fusion block is adaptively modified to maximize task-specific performance. Qualitative and quantitative assessments on T1-, T2-, PD-weighted and FLAIR images clearly demonstrate the superior performance of the proposed method compared to previous state-of-the-art one-to-one and many-to-one methods.

연구 동기 및 목표

• 스캔 시간과 환자 운동으로 인한 임상적 제약으로 인해 부족하거나 손상된 대비를 합성함으로써 다중 대비 MRI의 한계를 해결하기 위해.
• 기존 one-to-one 및 many-to-one 합성 방법의 단점을 보완하기 위해 이들의 장점을 통합된 프레임워크에서 융합하기 위해.
• 각 대비의 보완적 특징과 대비 간 공유 표현을 융합하여 영상 품질을 향상시키기 위해.
• 특수 작업 최적화된 위치에서 네트워크 내에서 특징 맵을 적응적으로 융합함으로써 다양한 합성 작업에서 성능을 향상시키기 위해.

제안 방법

• mustGAN은 각각 하나의 소스 대비를 처리하여 고유한 대비별 특징을 추출하는 다수의 one-to-one 스트림을 사용한다.
• 다른 하나의 many-to-one 스트림은 모든 소스 대비를 함께 처리하여 대비 간 공통적인 특징을 학습한다.
• one-to-one 및 many-to-one 스트림의 특징 맵은 학습 가능한 융합 블록을 통해 융합되며, 이 블록의 위치는 훈련 중에 적응적으로 최적화된다.
• 네트워크는 생성 적대 신경망 프레임워크를 사용하며, 적대적 손실, 인지적 손실, 픽셀 단위 손실을 함께 적용하여 고주파 수치를 유지하고 현실감을 향상시킨다.
• 융합 블록은 이전 방법에서 고정된 위치에 있던 것과 달리 디코더 내에서 동적으로 위치가 설정되어 작업별 최적의 성능을 극대화한다.
• 모델은 쌍체의 다중 대비 MRI 데이터로 훈련되며, 사전 정렬(pre-registration)이 사전 처리 단계로 적용된다.

실험 결과

연구 질문

• RQ1 one-to-one 및 many-to-one 스트림을 조합함으로써 고립된 접근 방식을 뛰어넘어 다중 대비 MRI 합성 성능을 향상시킬 수 있는가?
• RQ2 학습된 네트워크 내 위치에서 특징을 적응적으로 융합하면 고정된 위치에 있는 융합 방식보다 더 나은 합성 성능을 낼 수 있는가?
• RQ3 대비별 표현과 공유 표현의 통합이 합성된 MR 영상의 노이즈를 줄이고 선명도를 향상시킬 수 있는가?
• RQ4 mustGAN은 pGAN 및 Multimodal과 같은 최신 기술 수준의 방법들과 비교해 정량적 및 정성적 영상 품질 면에서 어떻게 성과를 내는가?

주요 결과

• mustGAN은 T1-, T2-, PD-, FLAIR-weighted 뇌 MRI 시퀀스 합성에서 one-to-one 및 many-to-one 최신 기술 수준의 방법들을 모두 능가한다.
• pGAN 및 Multimodal보다 더 높은 PSNR 값을 기록하며, 노이즈 감소와 더불어 가장자리 선명도 향상으로 인해 더 나은 시각적 품질을 확보한다.
• one-to-one 및 many-to-one 특징 맵의 적응적 융합은 특히 미세한 해부학적 세부 사항을 유지하는 데서 뛰어난 성능을 발휘한다.
• 전용 one-to-one 스트림의 포함으로 각 대비의 고유한 특징에 대한 민감도가 향상되어 전체 합성 정밀도가 향상된다.
• 정상 환자 및 뇌종양 환자 스캔을 포함한 다양한 데이터셋에서 견고한 성능을 보여준다.
• 적대적 손실 및 인지적 손실의 사용으로 평균 절대 오차 기반 방법보다 고공간 주파수 수치를 더 잘 포착할 수 있다.