[论文解读] A Semantic-based Medical Image Fusion Approach

Fanda Fan, Yunyou Huang+5 more|arXiv (Cornell University)|Jun 1, 2019

Advanced Image Fusion Techniques参考文献 34被引用 15

一句话总结

本文提出了一种语义感知的医学图像融合框架——Fusion W-Net（FW-Net），通过整合语义损失与结构损失，减少了CT与MR-T2图像之间的语义冲突。通过引入一种新型语义损失度量方法，并利用基于自编码器的网络架构，FW-Net在视觉质量与语义信息保留方面优于五种最先进的方法，生成了语义信息损失更少的融合图像。

ABSTRACT

It is necessary for clinicians to comprehensively analyze patient information from different sources. Medical image fusion is a promising approach to providing overall information from medical images of different modalities. However, existing medical image fusion approaches ignore the semantics of images, making the fused image difficult to understand. In this work, we propose a new evaluation index to measure the semantic loss of fused image, and put forward a Fusion W-Net (FW-Net) for multimodal medical image fusion. The experimental results are promising: the fused image generated by our approach greatly reduces the semantic information loss, and has better visual effects in contrast to five state-of-art approaches. Our approach and tool have great potential to be applied in the clinical setting.

研究动机与目标

• 为解决现有医学图像融合方法在临床上的局限性，这些方法未能考虑CT与MR-T2等不同影像模态之间的语义差异。
• 将亮度代表不同组织特性（如密度与流体性）的语义冲突，识别为融合图像可解释性差的关键原因。
• 提出一种用于量化融合图像中语义损失的新评估指标，以指导模型训练。
• 开发一种端到端、无监督的FW-Net框架，以同时保留源图像中的结构与语义信息。

提出的方法

• FW-Net采用编码器-解码器架构，并共享权重，将配准后的CT与MR-T2图像融合为单张融合图像。
• 模型最小化一个总损失函数，该函数结合了像素级重建损失、语义损失（SL）以及多尺度结构相似性（MEF-SSIM）损失。
• 语义损失（SL）在图像块级别计算，用于度量源图像与融合图像之间的语义一致性，从而减少对组织特性的误判。
• 重建损失确保解码器能够从融合输出中准确重建源图像，从而保持结构保真度。
• MEF-SSIM损失增强了源图像与融合图像之间的结构相似性，提升了边缘与纹理的保留效果。
• 该框架以端到端、无监督的方式训练，无需成对的真实融合图像作为监督信号。

实验结果

研究问题

• RQ1 CT与MR-T2图像之间的语义冲突在多大程度上影响了融合医学图像的可解释性？
• RQ2 学习得到的语义损失度量是否能有效量化并减少图像融合中的语义信息损失？
• RQ3 结合语义损失与结构损失在多大程度上提升了融合医学图像的视觉质量与语义质量？
• RQ4 FW-Net在保留临床相关结构（如钙化灶与脑室）方面，相较于最先进的融合方法表现如何？
• RQ5 所提出的框架是否能泛化至CT-MR-T2以外的其他医学图像融合任务？

主要发现

• 通过所提出的语义损失度量，FW-Net在语义损失方面显著优于五种最先进的方法。
• FW-Net生成的融合图像成功保留了关键临床特征，如钙化灶（图3中红箭头所示），而其他方法中这些特征则出现模糊或丢失。
• FW-Net成功解决了语义冲突：颅骨（高密度、低血流）与脑脊液（低密度、高血流）被呈现为相反的亮度，真实反映了其组织特性。
• 消融实验证实，语义损失（SL）的引入对保持组织语义至关重要，而MEF-SSIM损失则有助于提升结构保真度。
• FW-Net每张图像的运行时间仅为0.01秒，显著快于现有方法（如9.6–28.6秒），具备临床实用潜力。
• FW-Net生成的融合图像视觉更清晰、语义更丰富，细小血管被正确呈现为深色（低密度、高血流），符合MR-T2的语义特征。