[논문 리뷰] Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis

Tao Zhou, Huazhu Fu외 3명|arXiv (Cornell University)|2020. 02. 11.

Advanced Image Fusion Techniques참고 문헌 53인용 수 5

한 줄 요약

이 논문은 다중 모odal MRI 영상 합성에 적합한 하이브리드 융합 네트워크인 Hi-Net을 제안한다. 이는 모odal 특화 특징 학습과 적응형 다중 모달 융합을 결합하여 누락된 MRI 모달리티를 합성한다. 모달 특화 인코더, 혼합 융합 블록(MFB)을 갖춘 융합 네트워크, 계층별 융합을 통합함으로써 Hi-Net은 BraTS2018 데이터셋에서 T1 및 T2 입력으로부터 FLAIR 영상 합성에 대해 PSNR 25.05 ± 1.325의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Magnetic resonance imaging (MRI) is a widely used neuroimaging technique that can provide images of different contrasts (i.e., modalities). Fusing this multi-modal data has proven particularly effective for boosting model performance in many tasks. However, due to poor data quality and frequent patient dropout, collecting all modalities for every patient remains a challenge. Medical image synthesis has been proposed as an effective solution to this, where any missing modalities are synthesized from the existing ones. In this paper, we propose a novel Hybrid-fusion Network (Hi-Net) for multi-modal MR image synthesis, which learns a mapping from multi-modal source images (i.e., existing modalities) to target images (i.e., missing modalities). In our Hi-Net, a modality-specific network is utilized to learn representations for each individual modality, and a fusion network is employed to learn the common latent representation of multi-modal data. Then, a multi-modal synthesis network is designed to densely combine the latent representation with hierarchical features from each modality, acting as a generator to synthesize the target images. Moreover, a layer-wise multi-modal fusion strategy is presented to effectively exploit the correlations among multiple modalities, in which a Mixed Fusion Block (MFB) is proposed to adaptively weight different fusion strategies (i.e., element-wise summation, product, and maximization). Extensive experiments demonstrate that the proposed model outperforms other state-of-the-art medical image synthesis methods.

연구 동기 및 목표

• 비용, 시간, 안전성 제약로 인해 임상 환경에서 MRI 모달리티가 누락되는 문제를 해결하기 위해.
• 단일 모달리티 입력에 의존하는 것 대신, 여러 존재하는 MRI 모달리티 간의 상보적 정보를 활용하여 의료 영상 합성 성능을 향상시키기 위해.
• 통합된 딥 러닝 아키텍처 내에서 모달 특화 특징의 유지와 다중 모달 상관관계의 활용을 균형 있게 조율하기 위해.
• 다중 모달 융합을 통해 고해상도의 누락된 MRI 모달리티를 종합적으로 합성할 수 있는 강력하고 종단 간 엔드 투 엔드 아키텍처를 개발하기 위해.

제안 방법

• Hi-Net은 개별 MRI 모달리티(예: T1, T2, FLAIR)로부터 고수준 표현을 학습하기 위해 모달 특화 오토인코더 네트워크를 활용한다.
• 다양한 모달 특징 간의 상관관계를 활용하여 공유 잠재 표현을 학습하기 위해 전용 융합 네트워크를 도입한다.
• 다양한 추상화 수준에서 표현 학습을 향상시키기 위해 다중 특징 계층에 걸쳐 계층별 다중 모달 융합 전략을 적용한다.
• 혼합 융합 블록(MFB)은 요소별 합산, 요소별 곱셈, 최대값 연산을 동적으로 가중치를 두어 융합 전략을 적응적으로 통합한다.
• 생성자 네트워크는 조밀한 스케일 연결을 통해 모달 특화 특징과 융합된 잠재 표현을 통합하여 목표 모달리티 영상의 합성을 수행한다.
• 합성된 영상과 실제 목표 영상 간의 차이를 최소화하기 위해 재구성 손실을 사용하여 전체 네트워크를 종단 간 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 다양한 존재하는 모달리티를 융합함으로써 하이브리드 융합 네트워크가 누락된 MRI 모달리티를 효과적으로 합성할 수 있는가?
• RQ2 모달 특화 및 공유 표현 학습을 통합함으로써 단일 모달리티 기반 대비 합성 품질이 향상되는가?
• RQ3 다양한 융합 전략(예: 조기 융합, 후기 융합, 계층별 융합)이 합성 성능에 미치는 영향은 무엇인가?
• RQ4 혼합 융합 블록(MFB)이 다중 융합 연산의 가중치를 적응적으로 조절하여 특징 통합을 향상시키는 데 얼마나 효과적인가?
• RQ5 제안된 방법이 후행 다중 모달 학습 작업의 성능 향상에 기여하는 데이터 증강 전략으로 활용될 수 있는가?

주요 결과

• Hi-Net은 BraTS2018 데이터셋에서 T1 및 T2 입력으로부터 FLAIR 영상 합성에 대해 PSNR 25.05 ± 1.325를 달성하여, 모든 분석된 변형 및 최신 기술 수준의 방법들을 능가한다.
• 절단 분석 결과, 융합 네트워크에 MFB를 적용할 경우(PSNR: 24.47 ± 1.245)가 생성자에만 MFB를 적용한 경우(PSNR: 23.83 ± 0.912)보다 더 우수한 성능을 보였다.
• MFB를 활용한 제안된 계층별 융합 전략은 조기 융합(PSNR: 22.84 ± 0.975)과 후기 융합(PSNR: 23.63 ± 1.110)에 비해 성능 향상이 뚜렷했다.
• 완전한 Hi-Net 모델은 최저의 NMSE(0.0258 ± 0.009)와 최고의 SSIM(0.8909 ± 0.030)를 기록하여, 뛰어난 합성 정밀도와 구조적 유지 능력을 입증했다.
• 결과적으로, 모달 특화 특징을 유지하면서도 다중 모달 상관관계를 융합함으로써 더 정확하고 현실적인 영상 합성 결과를 도출할 수 있음을 입증했다.