[论文解读] Feature Selection based on PCA and PSO for Multimodal Medical Image Fusion using DTCWT

K Padmavathi, Mahima Bhat+1 more|arXiv (Cornell University)|Jan 31, 2017

Advanced Image Fusion Techniques参考文献 8被引用 6

一句话总结

该论文提出了一种新颖的多模态医学图像融合框架，结合了双树复小波变换（DTCWT）与主成分分析（PCA）和粒子群优化（PSO）的特征选择方法。该方法将输入图像分解为低频和高频分量，对系数应用融合规则，并重建融合图像。DTCWT-PCA方法在SSIM和CC指标上表现更优，计算时间更短，特征向量尺寸更小，相较于DTCWT-PSO展现出更强的鲁棒性和更高的效率。

ABSTRACT

Multimodal medical image fusion helps to increase efficiency in medical diagnosis. This paper presents multimodal medical image fusion by selecting relevant features using Principle Component Analysis (PCA) and Particle Swarm Optimization techniques (PSO). DTCWT is used for decomposition of the images into low and high frequency coefficients. Fusion rules such as combination of minimum, maximum and simple averaging are applied to approximate and detailed coefficients. The fused image is reconstructed by inverse DTCWT. Performance metrics are evaluated and it shows that DTCWT-PCA performs better than DTCWT-PSO in terms of Structural Similarity Index Measure (SSIM) and Cross Correlation (CC). Computation time and feature vector size is reduced in DTCWT-PCA compared to DTCWT-PSO for feature selection which proves robustness and storage capacity.

研究动机与目标

• 提升多模态医学图像融合的质量，以增强诊断准确性。
• 降低图像融合流程中的计算复杂度和特征向量尺寸。
• 评估并比较PCA与PSO在DTCWT基融合中用于特征选择的性能。
• 利用最小值、最大值和平均值策略，优化DTCWT系数中低频和高频分量的融合规则。
• 证明所提出的DTCWT-PCA方法在鲁棒性和存储效率方面的优势。

提出的方法

• 应用双树复小波变换（DTCWT）将多模态医学图像分解为低频和高频子带。
• 在DTCWT系数上使用主成分分析（PCA）和粒子群优化（PSO）进行特征选择。
• 分别对近似（低频）和细节（高频）系数应用融合规则——最小值、最大值和简单平均值。
• 通过逆DTCWT使用组合后的系数集重建融合图像。
• 采用结构相似性指数度量（SSIM）和互相关系数（CC）评估性能。
• 测量计算时间和特征向量尺寸，以评估效率和存储影响。

实验结果

研究问题

• RQ1 基于PCA的特征选择与基于PSO的特征选择在融合图像质量方面有何差异？
• RQ2 DTCWT-PCA与DTCWT-PSO对结构相似性（SSIM）和互相关系数（CC）指标有何影响？
• RQ3 在融合流程中，DTCWT-PCA与DTCWT-PSO的计算时间与特征向量尺寸有何不同？
• RQ4 低频和高频DTCWT系数中，哪种融合规则组合（最小值、最大值、平均值）表现最佳？
• RQ5 所提出方法在多模态医学图像融合中，能在多大程度上提升鲁棒性和存储效率？

主要发现

• DTCWT-PCA在结构相似性指数度量（SSIM）方面优于DTCWT-PSO，表明融合图像中结构信息的保留更佳。
• DTCWT-PCA产生更高的互相关系数（CC）值，表明融合图像与参考图像之间的相似性更强。
• 与DTCWT-PSO相比，DTCWT-PCA的计算时间显著减少，提升了处理效率。
• DTCWT-PCA的特征向量尺寸更小，证明其在存储容量方面表现更优，数据开销更低。
• DTCWT-PCA方法在多模态医学图像融合中比DTCWT-PSO更具鲁棒性和高效性。
• DTCWT与基于PCA的特征选择相结合，实现了图像质量、处理速度与资源消耗之间的良好平衡。