[论文解读] Coupled Feature Learning for Multimodal Medical Image Fusion

Farshad G. Veshki, Nora Ouzir+2 more|arXiv (Cornell University)|Feb 17, 2021

Advanced Image Fusion Techniques参考文献 32被引用 11

一句话总结

该论文提出了一种新颖的多模态医学图像融合方法，采用耦合字典学习将输入图像分解为相关成分和独立成分。通过应用具有相同支撑的稀疏表示并施加皮尔逊相关性约束，该方法在保留模态特异性细节的同时融合共享信息，在保持与最先进方法相当的计算效率的同时，实现了更优的灰度值和细节保留效果。

ABSTRACT

Multimodal image fusion aims to combine relevant information from images acquired with different sensors. In medical imaging, fused images play an essential role in both standard and automated diagnosis. In this paper, we propose a novel multimodal image fusion method based on coupled dictionary learning. The proposed method is general and can be employed for different medical imaging modalities. Unlike many current medical fusion methods, the proposed approach does not suffer from intensity attenuation nor loss of critical information. Specifically, the images to be fused are decomposed into coupled and independent components estimated using sparse representations with identical supports and a Pearson correlation constraint, respectively. An alternating minimization algorithm is designed to solve the resulting optimization problem. The final fusion step uses the max-absolute-value rule. Experiments are conducted using various pairs of multimodal inputs, including real MR-CT and MR-PET images. The resulting performance and execution times show the competitiveness of the proposed method in comparison with state-of-the-art medical image fusion methods.

研究动机与目标

• 为解决现有多模态图像融合方法存在的灰度值衰减和关键信息丢失等局限性。
• 开发一种适用于多种医学成像模态（包括MR-CT、MR-PET和MR-SPECT）的通用融合框架。
• 通过将模态特异性特征分离为独立成分来保留其特征，避免融合规则对这些特征造成退化或衰减。
• 通过使用具有相同稀疏支撑的耦合字典联合学习相关成分，提升融合性能。
• 通过交替优化算法确保计算效率，同时保持高质量的融合图像。

提出的方法

• 该方法利用具有相同支撑的稀疏表示，通过耦合字典学习，将输入图像分解为相关成分和独立成分。
• 通过跨模态共享稀疏模式的联合稀疏编码框架提取相关成分。
• 通过最小化两幅图像残差项之间的像素级皮尔逊相关性，强制实现独立成分。
• 采用交替优化算法求解涉及稀疏性、相关性和重建约束的非凸优化问题。
• 最终融合图像通过使用最大绝对值规则将融合后的相关成分与完全保留的独立成分相结合生成。
• 该方法采用基于图像块的方法，固定块大小为 m=64，字典大小为 n=128，参数经过调优以实现跨模态的泛化能力。

实验结果

研究问题

• RQ1 耦合字典学习框架能否有效分离多模态医学图像中的模态特异性信息与共享信息？
• RQ2 如何联合优化相关成分与独立成分，以同时保持灰度保真度和结构细节？
• RQ3 与传统融合规则相比，通过不融合独立成分来保留其完整性是否能减少信息损失？
• RQ4 所提方法在不同医学成像模态（如MR-CT、MR-PET和MR-SPECT）上的泛化能力如何？
• RQ5 在所提出的优化框架中，稀疏度水平、相关性惩罚项与融合性能之间的权衡关系如何？

主要发现

• 所提方法在QY、QCB、TMQI和STD等定量指标上表现更优，优于最先进方法如PCNN-NSST、CSR和LLF-IOI。
• 该方法保持了高灰度保真度，避免了基于平均或二值选择的融合规则中常见的灰度值衰减现象。
• 执行时间具有竞争力，平均运行时间与PCNN-NSST相当，显著快于CSR和LLF-IOI方法。
• 最优参数设置 T=5 和 ρ=10 在保留独立成分与保持融合成分相关性之间实现了良好的平衡。
• 该方法在无需模态特异性参数调优的情况下，对多种模态均表现出良好的泛化能力，展现出强大的鲁棒性与适应性。
• 视觉与定量结果均证实，该方法能有效保留MR-CT及其他多模态组合中软组织与硬组织的精细细节和解剖结构。