[论文解读] Does Thermal Really Always Matter for RGB-T Salient Object Detection?

Runmin Cong, Kepu Zhang+5 more|arXiv (Cornell University)|Oct 9, 2022

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出TNet，一种新颖的RGB-T显著性目标检测网络，通过全局光照估计模块根据场景光照自适应调节热成像模态的使用。它在编码阶段引入语义约束提供模块，在解码阶段采用两阶段定位/补全模块以增强跨模态交互，从而在三个基准数据集上实现最先进性能，VT5000数据集上的最大F值达0.895。

ABSTRACT

In recent years, RGB-T salient object detection (SOD) has attracted continuous attention, which makes it possible to identify salient objects in environments such as low light by introducing thermal image. However, most of the existing RGB-T SOD models focus on how to perform cross-modality feature fusion, ignoring whether thermal image is really always matter in SOD task. Starting from the definition and nature of this task, this paper rethinks the connotation of thermal modality, and proposes a network named TNet to solve the RGB-T SOD task. In this paper, we introduce a global illumination estimation module to predict the global illuminance score of the image, so as to regulate the role played by the two modalities. In addition, considering the role of thermal modality, we set up different cross-modality interaction mechanisms in the encoding phase and the decoding phase. On the one hand, we introduce a semantic constraint provider to enrich the semantics of thermal images in the encoding phase, which makes thermal modality more suitable for the SOD task. On the other hand, we introduce a two-stage localization and complementation module in the decoding phase to transfer object localization cue and internal integrity cue in thermal features to the RGB modality. Extensive experiments on three datasets show that the proposed TNet achieves competitive performance compared with 20 state-of-the-art methods.

研究动机与目标

• 探究热成像是否在所有情况下均能提升RGB-T显著性目标检测性能，挑战热成像数据普遍有益的假设。
• 解决现有模型直接将RGB-D SOD方法迁移至RGB-T SOD所导致的次优性能问题，此类方法忽略了深度与热成像模态在物理和感知上的差异。
• 设计一种网络，根据场景亮度动态调节热成像与RGB模态的贡献，提升低光照条件下的鲁棒性。
• 通过在编码和解码阶段引入任务特定模块，增强跨模态特征交互，实现语义丰富与结构补全。
• 证明热成像模态的价值具有上下文依赖性，不应统一应用，尤其在热成像与RGB显著性不一致的场景中。

提出的方法

• 全局光照估计（GIE）模块预测RGB图像的全局照度得分，以动态调节RGB与热成像特征之间的融合策略。
• 在编码阶段，语义约束提供模块（SCP）通过注入从高层RGB特征中提取的语义掩码，增强热成像特征，提升其在SOD任务中的相关性。
• 在解码阶段，两阶段定位与补全（LC）模块通过自适应跳跃连接，将热成像特征中的定位线索与结构完整性传递至RGB特征。
• LC模块首先利用热成像特征引导RGB特征中的目标定位，随后基于GIE得分采用加权融合机制，用热成像细节补全RGB特征。
• 自适应跳跃连接机制利用全局照度得分计算注意力权重，实现动态、上下文感知的特征融合，而非固定加法。
• 完整的TNet架构将GIE、SCP与LC模块整合为一个端到端可训练框架，实现RGB与热成像特征的联合学习。

实验结果

研究问题

• RQ1 热成像模态是否始终能提升RGB-T显著性目标检测性能？是否存在其导致性能下降的场景？
• RQ2 如何根据场景光照条件自适应调节热成像模态的作用？
• RQ3 在RGB-T SOD的编码与解码阶段，最有效的跨模态交互机制是什么？
• RQ4 对热成像特征进行语义增强，并从热成像向RGB进行结构补全，能否提升检测精度与完整性？
• RQ5 与固定或直接融合策略相比，所提出的自适应融合机制在鲁棒性与性能方面表现如何？

主要发现

• 所提出的TNet在VT5000数据集上达到最大F值0.895，超越20种最先进方法。
• 消融实验表明，若移除定位引导阶段，F值降至0.885；若移除补全阶段，F值降至0.873，证实两个阶段均至关重要。
• 将自适应跳跃连接替换为直接加法，F值从0.895降至0.882，平均绝对误差（MAE）从0.033升至0.037，证明自适应融合机制的优越性。
• 全局光照估计模块有效调节模态交互，当其被移除时观察到性能下降。
• 失败案例揭示了对小尺寸、低对比度或细长目标检测能力有限，表明使用如Swin Transformer等更强特征提取器可进一步提升性能。
• 当前的RGB-T SOD数据集偏向白天场景，凸显了构建更多面向低光照、夜间场景的基准数据集的迫切需求。