[论文解读] Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation

Jinyuan Liu, Zhu Liu+6 more|arXiv (Cornell University)|Aug 4, 2023

Advanced Image Fusion Techniques被引用 6

一句话总结

本文提出 SegMiF，一种多交互特征学习框架，通过级联架构结合分层交互注意力（HIA）与动态加权机制，联合优化多模态图像融合与语义分割。该方法在新提出的全天候多模态基准（FMB）上相较最先进方法实现了 7.66% 的平均 mIoU 提升，证明了其在真实环境下卓越的视觉质量与分割精度。

ABSTRACT

Multi-modality image fusion and segmentation play a vital role in autonomous driving and robotic operation. Early efforts focus on boosting the performance for only one task, \emph{e.g.,} fusion or segmentation, making it hard to reach~`Best of Both Worlds'. To overcome this issue, in this paper, we propose a extbf{M}ulti- extbf{i}nteractive extbf{F}eature learning architecture for image fusion and extbf{Seg}mentation, namely SegMiF, and exploit dual-task correlation to promote the performance of both tasks. The SegMiF is of a cascade structure, containing a fusion sub-network and a commonly used segmentation sub-network. By slickly bridging intermediate features between two components, the knowledge learned from the segmentation task can effectively assist the fusion task. Also, the benefited fusion network supports the segmentation one to perform more pretentiously. Besides, a hierarchical interactive attention block is established to ensure fine-grained mapping of all the vital information between two tasks, so that the modality/semantic features can be fully mutual-interactive. In addition, a dynamic weight factor is introduced to automatically adjust the corresponding weights of each task, which can balance the interactive feature correspondence and break through the limitation of laborious tuning. Furthermore, we construct a smart multi-wave binocular imaging system and collect a full-time multi-modality benchmark with 15 annotated pixel-level categories for image fusion and segmentation. Extensive experiments on several public datasets and our benchmark demonstrate that the proposed method outputs visually appealing fused images and perform averagely $7.66\%$ higher segmentation mIoU in the real-world scene than the state-of-the-art approaches. The source code and benchmark are available at \url{https://github.com/JinyuanLiu-CV/SegMiF}.

研究动机与目标

• 解决现有方法仅独立优化融合或分割所导致的性能次优问题。
• 通过实现跨任务知识迁移，克服融合与分割网络间特征交互不足的挑战。
• 设计一种动态加权机制，自动平衡任务特定损失，避免人工调参。
• 构建一个全面的、全天候的、多模态基准（FMB），包含 1500 对已精确配准的图像对与 15 个像素级类别，以支持联合融合与分割研究。
• 实现在包括雾霾、降雨与低光照等多样化真实环境下的鲁棒、高质量图像融合与高精度语义分割。

提出的方法

• 提出一种基于级联结构的 SegMiF 架构，集成融合子网络与分割子网络，以实现双向特征交互。
• 设计一种分层交互注意力（HIA）模块，可在不同任务间对模态特异性特征与语义特征进行细粒度、多头注意力映射。
• 引入一种动态加权因子，训练过程中自适应调整各任务的损失贡献，实现无需人工超参数调优的端到端优化。
• 部署一种智能多波段双目成像系统，采集 1500 对同步的红外-可见光图像对，并附带密集像素级标注。
• 利用 HIA 在保留内在模态特征（如热成像细节）的同时增强语义一致性，尤其在恶劣天气与低光照条件下表现更优。
• 采用共享特征学习与任务特定头的多任务学习方案，其中分割引导融合，融合通过优化特征提升分割性能。

实验结果

研究问题

• RQ1 联合优化图像融合与语义分割是否能相比单任务或级联方法在两个任务上均取得更优性能？
• RQ2 如何有效建模跨任务特征交互，以同时保留模态特异性特征与语义特征？
• RQ3 动态损失加权策略在无需人工调参的情况下，能在多大程度上提升训练稳定性和性能？
• RQ4 所提方法在真实世界复杂环境（如浓雾、暴雨、低光照）下的表现如何？
• RQ5 一个全面的、全天候的、多模态基准（含密集像素级标注）是否能显著推动联合融合与分割研究？

主要发现

• 所提 SegMiF 方法在 FMB 基准上相较最先进方法实现 7.66% 的平均 mIoU 提升，mIoU 达 54.8%，优于第二名方法。
• 在 MFNet 数据集上，SegMiF 相较第二名方法实现 1.45% 的 mIoU 提升，表明其在不同数据集上均具有一致的性能增益。
• 消融实验证明，分层交互注意力（HIA）机制显著提升特征表示能力：完整 HIA（含 SoAM 与 MoAM）在 FMB 上实现 56.1% 的 mIoU，优于各类变体高达 4.2 个百分点。
• 动态加权因子在融合与分割任务间实现更优平衡，其在视觉质量与 mIoU 上均优于人工调参及其他多任务学习策略。
• 可视化结果表明，HIA 有效保留了恶劣天气与低光照条件下的显著红外特征（如行人、车辆），减少噪声与干扰。
• FMB 基准包含 1500 对已精确配准的图像对与 15 个像素级类别，涵盖多样化场景与严重环境条件，可实现对联合融合与分割模型的稳健评估。