[论文解读] Multi-interactive Siamese Decoder for RGBT Salient Object Detection

Zhengzheng Tu, Zhun Li+3 more|arXiv (Cornell University)|May 5, 2020

Visual Attention and Saliency Detection参考文献 48被引用 5

一句话总结

本文提出了一种用于RGBT显著目标检测的多交互孪生解码器，通过建模多层次模态交互和全局上下文来增强特征学习。通过利用标签监督并稳健处理无效模态，该方法在基准数据集上实现了最先进性能。

ABSTRACT

RGBT salient object detection (SOD) aims to segment the common prominent regions of visible and thermal infrared images. Existing RGBT SOD methods don't fully explore and exploit the potentials of complementarity of different modalities and the global context of image contents, which play a vital role in achieving accurate results. In this paper, we propose a multi-interactive Siamese decoder to mine and model the multi-type interactions for accurate RGBT SOD. In specific, we first encode RGB and thermal image pair into multi-level multi-modal representation. Then, we design a novel Siamese decoder to integrate the multi-level interactions of dual modalities and global contexts. With these interactions, our method works well in diversely challenging scenarios even in the presence of invalid modality. Moreover, the Siamese decoder employs label supervision to drive feature learning in each modality and the modality prejudice is thus suppressed. Finally, we carry out extensive experiments on several benchmark datasets, and the results show that the proposed method achieves the outstanding performance against state-of-the-art algorithms. The source code has released at: this https URL

研究动机与目标

• 为解决现有RGBT SOD方法中模态互补性与全局上下文利用不足的问题。
• 在包含无效或退化模态的多样化、复杂场景中提升检测精度。
• 通过孪生解码器架构中的标签监督抑制模态偏差。
• 设计一种能够整合可见光与热成像特征多层次交互的解码器。

提出的方法

• 该方法使用共享主干网络将RGB与热成像图像对编码为多层次多模态表征。
• 设计了一种新颖的孪生解码器，用于在两个模态之间多个特征层级上建模多种类型的交互。
• 解码器引入了全局上下文建模，以增强特征空间中的长距离依赖性。
• 对每个模态分支独立应用标签监督，以减少模态特定偏差。
• 通过交叉注意力和特征拼接机制学习多层次交互。
• 采用联合损失函数进行端到端训练，以优化显著性预测。

实验结果

研究问题

• RQ1 如何有效建模RGB与热成像模态之间的多层次交互，以提升显著性检测性能？
• RQ2 在具有挑战性的条件下，全局上下文建模在RGBT SOD中的性能提升程度如何？
• RQ3 在孪生解码器中应用标签监督能否减少模态偏差并提升鲁棒性？
• RQ4 当某一模态缺失或退化时，所提方法的性能表现如何？
• RQ5 各类交互类型（如跨模态交互、全局上下文）对最终检测精度的贡献分别是什么？

主要发现

• 所提方法在多个RGBT显著目标检测基准数据集上实现了最先进性能。
• 即使某一模态无效或退化，该方法仍表现出强大的鲁棒性，保持高精度。
• 多层次模态交互与全局上下文的整合显著提升了基线方法的性能。
• 在孪生解码器中应用标签监督有效减少了模态特定偏差，并提升了泛化能力。
• 大量消融实验验证了各组件的有效性，尤其是多交互解码器设计。
• 源代码已公开发布，支持结果复现，并推动该领域的进一步研究。