[논문 리뷰] Unified Multi-Modal Image Synthesis for Missing Modality Imputation

Yue Zhang, Chengtao Peng외 4명|arXiv (Cornell University)|2023. 04. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 6

한 줄 요약

이 논문은 가용한 모odal의 임의의 조합을 사용하여 누락된 의료 영상 대비를 보정하는 통합 생성 적대적 네트워크를 제안한다. 공통성과 이질성을 고려한 인코더를 도입하여 공유된 특징과 모달 특유의 특징을 모두 캡처하고, 다양한 입력 모달에 걸쳐 강력한 특징 통합을 수행하는 동적 특징 통합 모듈을 설계하여 BraTS 및 IXI 데이터셋에서 28.23 dB PSNR와 0.937 SSIM의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Multi-modal medical images provide complementary soft-tissue characteristics that aid in the screening and diagnosis of diseases. However, limited scanning time, image corruption and various imaging protocols often result in incomplete multi-modal images, thus limiting the usage of multi-modal data for clinical purposes. To address this issue, in this paper, we propose a novel unified multi-modal image synthesis method for missing modality imputation. Our method overall takes a generative adversarial architecture, which aims to synthesize missing modalities from any combination of available ones with a single model. To this end, we specifically design a Commonality- and Discrepancy-Sensitive Encoder for the generator to exploit both modality-invariant and specific information contained in input modalities. The incorporation of both types of information facilitates the generation of images with consistent anatomy and realistic details of the desired distribution. Besides, we propose a Dynamic Feature Unification Module to integrate information from a varying number of available modalities, which enables the network to be robust to random missing modalities. The module performs both hard integration and soft integration, ensuring the effectiveness of feature combination while avoiding information loss. Verified on two public multi-modal magnetic resonance datasets, the proposed method is effective in handling various synthesis tasks and shows superior performance compared to previous methods.

연구 동기 및 목표

• 촬영 시간, 잡음, 프로토콜 차이로 인한 완전하지 않은 다중 모달 MRI 데이터 문제를 해결한다.
• 다양한 조합의 가용 모달에서 누락된 모달을 하나의 통합 모델로 합성하여 복수의 모델이 필요로 하는 문제를 방지한다.
• 입력 영상에서 모달 불변(공통성) 및 모달 특유(이질성) 특징을 캡처함으로써 영상 품질을 향상시킨다.
• 효과적인 특징 통합 전략을 통해 가변적인 수의 가용 모달에 대한 강건성을 확보한다.

제안 방법

• 모달 고유 및 공통 인코딩 스트림을 갖춘 공통성-이질성 민감 인코더(CDS-Encoder)를 제안하여 입력 모달에서 불변 및 고유 특징을 추출한다.
• 다양한 입력 모달의 특징을 하드 및 소프트 통합하는 동적 특징 통합 모듈(DFUM)을 도입하여 정보 손실을 최소화한다.
• 각 목표 모달에 대해 별도의 디코딩 경로를 갖는 다중 스트림 생성자로, 임의의 누락 대비를 엔드 투 엔드로 합성할 수 있도록 한다.
• 학습 중에 네트워크가 점차 더 복잡한 입력 구성에 노출되도록 교육 과정 학습 전략을 적용하여 수렴성과 성능을 향상시킨다.
• 생성 적대적 네트워크(GAN) 프레임워크를 활용하여 적대적 손실, 사이클 일致성 손실, 지각적 손실을 적용함으로써 생성된 영상의 현실성과 구조적 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 임의의 조합의 가용 모달에서 누락된 MRI 모달을 효과적으로 합성할 수 있는 통합 딥 러닝 모델이 가능한가?
• RQ2 모달 불변 및 모달 고유 특징을 효과적으로 활용하면 영상 합성 품질을 어떻게 향상시킬 수 있는가?
• RQ3 정보 손실을 최소화하면서도 가변적인 수의 입력 모달을 처리하는 데 가장 효과적인 특징 통합 전략은 무엇인가?
• RQ4 교육 과정 학습 전략은 다중 모달 영상 합성 작업에서 학습 안정성과 성능 향상에 기여하는가?

주요 결과

• 제안된 CDS-Encoder는 BraTS 데이터셋에서 28.23 dB PSNR와 0.937 SSIM 성능을 달성하여 MMS-Encoder보다 PSNR +0.40 dB, SSIM +0.006 향상되었다.
• DFUM 모듈은 최대값 연산 대비 PSNR +0.44 dB, SSIM +0.005 향상되었고, HeMIS 대비 PSNR +0.63 dB, SSIM +0.007 향상되었다.
• 교육 과정 학습을 통합하면 PSNR가 0.30 dB, SSIM이 0.004 향상되어 학습 안정성 및 수렴성 향상에 기여함을 입증하였다.
• 이 방법은 BraTS 및 IXI 데이터셋 모두에서 최신 기술 수준의 성능을 달성하여 고해상도의 현실적인 질감과 세밀한 구조적 세부 사항을 갖춘 영상을 생성하였다.
• 시각적 비교 결과, 제안된 방법은 기존 GAN 기반 기준선 대비 더 선명하고 잡음이 적은 영상을 생성하는 것으로 나타났다.
• 절단 실험 결과, CDS-Encoder와 DFUM가 모두 전체 성능 향상에 기여하는 필수 구성 요소임을 확인하였다.