[论文解读] Hi-Net: Hybrid-fusion Network for Multi-modal MR Image Synthesis

Tao Zhou, Huazhu Fu+3 more|arXiv (Cornell University)|Feb 11, 2020

Advanced Image Fusion Techniques参考文献 53被引用 5

一句话总结

该论文提出Hi-Net，一种用于多模态磁共振图像合成的混合融合网络，通过结合模态特定特征学习与自适应多模态融合，实现缺失MRI模态的合成。通过集成模态特定编码器、包含混合融合模块（MFBs）的融合网络以及逐层融合策略，Hi-Net在BraTS2018数据集上实现了最先进性能，使用T1和T2输入合成Flair图像的PSNR达到25.05 ± 1.325。

ABSTRACT

Magnetic resonance imaging (MRI) is a widely used neuroimaging technique that can provide images of different contrasts (i.e., modalities). Fusing this multi-modal data has proven particularly effective for boosting model performance in many tasks. However, due to poor data quality and frequent patient dropout, collecting all modalities for every patient remains a challenge. Medical image synthesis has been proposed as an effective solution to this, where any missing modalities are synthesized from the existing ones. In this paper, we propose a novel Hybrid-fusion Network (Hi-Net) for multi-modal MR image synthesis, which learns a mapping from multi-modal source images (i.e., existing modalities) to target images (i.e., missing modalities). In our Hi-Net, a modality-specific network is utilized to learn representations for each individual modality, and a fusion network is employed to learn the common latent representation of multi-modal data. Then, a multi-modal synthesis network is designed to densely combine the latent representation with hierarchical features from each modality, acting as a generator to synthesize the target images. Moreover, a layer-wise multi-modal fusion strategy is presented to effectively exploit the correlations among multiple modalities, in which a Mixed Fusion Block (MFB) is proposed to adaptively weight different fusion strategies (i.e., element-wise summation, product, and maximization). Extensive experiments demonstrate that the proposed model outperforms other state-of-the-art medical image synthesis methods.

研究动机与目标

• 为解决临床环境中因成本、时间与安全限制导致的MRI模态缺失问题。
• 通过利用多个现有MRI模态之间的互补信息，而非依赖单一模态输入，提升医学图像合成性能。
• 在统一的深度学习框架中，平衡模态特定特征的保留与跨模态相关性的利用。
• 开发一种稳健的端到端架构，通过多模态融合合成高保真度的缺失MRI模态。

提出的方法

• Hi-Net采用模态特定的自编码器网络，从各个MRI模态（如T1、T2、Flair）中学习高层表示。
• 引入专用的融合网络，通过挖掘多模态特征之间的相关性，学习共享的潜在表示。
• 在多个特征层次上应用逐层多模态融合策略，以增强不同抽象层次上的表示学习。
• 混合融合模块（MFB）自适应地结合逐元素求和、逐元素乘积和最大值操作，动态加权融合策略。
• 生成器网络通过密集跳跃连接整合模态特定特征与融合后的潜在表示，以合成目标模态图像。
• 整个网络通过重建损失进行端到端训练，以最小化合成图像与真实目标图像之间的差异。

实验结果

研究问题

• RQ1 通过结合多个现有模态，混合融合网络能否有效合成缺失的MRI模态？
• RQ2 与单模态基线相比，模态特定与共享表示学习的结合如何提升合成质量？
• RQ3 不同融合策略（如早期融合、晚期融合或逐层融合）对合成性能有何影响？
• RQ4 混合融合模块（MFB）在自适应加权多种融合操作以提升特征整合方面效果如何？
• RQ5 所提出的方法能否作为数据增强策略，用于提升下游多模态学习任务的性能？

主要发现

• 在BraTS2018数据集上，Hi-Net使用T1和T2输入合成Flair图像的PSNR达到25.05 ± 1.325，优于所有消融变体和当前最先进方法。
• 消融实验表明，在融合网络中使用MFBs可获得更优结果（PSNR: 24.47 ± 1.245），优于仅在生成器中使用MFBs的情况（PSNR: 23.83 ± 0.912）。
• 所提出的结合MFBs的逐层融合策略显著优于早期融合（PSNR: 22.84 ± 0.975）和晚期融合（PSNR: 23.63 ± 1.110）。
• 完整Hi-Net模型实现了最低的NMSE（0.0258 ± 0.009）和最高的SSIM（0.8909 ± 0.030），表明其具有更优的合成保真度与结构保持能力。
• 结果表明，在保留模态特定特征的同时融合跨模态相关性，可实现更准确、更逼真的图像合成。