[论文解读] CAVER: Cross-Modal View-Mixed Transformer for Bi-Modal Salient Object Detection

Youwei Pang, Xiaoqi Zhao+2 more|arXiv (Cornell University)|Dec 4, 2021

Visual Attention and Saliency Detection被引用 4

一句话总结

CAVER 提出了一种新颖的跨模态视图混合变压器，用于双模态显著性物体检测（RGB-D 和 RGB-T），通过基于自顶向下的变压器信息传播路径与视图混合注意力（VMA）机制，增强全局上下文建模与跨模态对齐。通过引入逐块标记重嵌入（PTRE）和并行通道注意力分支，其在降低计算成本的同时提升了性能，在多个基准测试中超越了当前最先进方法。

ABSTRACT

Most of the existing bi-modal (RGB-D and RGB-T) salient object detection methods utilize the convolution operation and construct complex interweave fusion structures to achieve cross-modal information integration. The inherent local connectivity of the convolution operation constrains the performance of the convolution-based methods to a ceiling. In this work, we rethink these tasks from the perspective of global information alignment and transformation. Specifically, the proposed \underline{c}ross-mod\underline{a}l \underline{v}iew-mixed transform\underline{er} (CAVER) cascades several cross-modal integration units to construct a top-down transformer-based information propagation path. CAVER treats the multi-scale and multi-modal feature integration as a sequence-to-sequence context propagation and update process built on a novel view-mixed attention mechanism. Besides, considering the quadratic complexity w.r.t. the number of input tokens, we design a parameter-free patch-wise token re-embedding strategy to simplify operations. Extensive experimental results on RGB-D and RGB-T SOD datasets demonstrate that such a simple two-stream encoder-decoder framework can surpass recent state-of-the-art methods when it is equipped with the proposed components. Code and pretrained models will be available at \href{https://github.com/lartpang/CAVER}{the link}.

研究动机与目标

• 为解决基于卷积的模型在双模态显著性物体检测中因局部归纳偏差导致的性能瓶颈。
• 探索使用变压器对多尺度、多模态特征进行全局序列到序列建模。
• 降低高分辨率特征图中自注意力与跨注意力机制的二次方计算复杂度。
• 通过混合注意力与卷积前馈网络的设计，同时增强全局上下文感知与局部细节感知。
• 通过同时建模空间与通道依赖关系，提升跨模态特征对齐与融合效果。

提出的方法

• CAVER 采用双流编码器-解码器架构，结合基于自顶向下的变压器信息传播路径，实现跨模态特征整合。
• 提出一种新颖的视图混合注意力（VMA）机制，通过融合空间注意力与通道注意力，建模跨模态的全局依赖关系。
• 在注意力模块的每次矩阵乘法前应用逐块标记重嵌入（PTRE），通过将像素级标记聚合为块级标记，降低计算与内存开销。
• VMA 模块包含一个并行通道注意力分支，通过建模通道间关系增强特征表示能力。
• 在注意力模块后使用卷积前馈网络（FFN），以提升局部细节感知与特征精炼能力。
• 模型在 RGB-D 与 RGB-T 数据集上端到端训练，采用标准 SOD 损失函数，并通过轻量化设计实现对高分辨率特征的高效处理。

实验结果

研究问题

• RQ1 基于变压器的架构是否能在双模态显著性物体检测中，通过全局序列到序列建模超越基于卷积的方法？
• RQ2 如何在不牺牲高分辨率、多尺度特征性能的前提下，降低自注意力与跨注意力机制的二次方计算复杂度？
• RQ3 在跨模态特征对齐中，同时建模空间与通道依赖关系会产生何种影响？
• RQ4 如 PTRE 这类无参数操作，能否有效降低计算成本，同时保持或提升准确率？
• RQ5 全局上下文与局部细节感知的融合，如何影响复杂场景下的检测性能？

主要发现

• CAVER 在多个 RGB-D 与 RGB-T 显著性物体检测基准上达到最先进性能，超越近期 SOTA 方法。
• 消融实验表明，从浅层到深层移除跨模态集成单元（CMIU）会持续降低性能，验证了其关键作用。
• 将 PTRE 块大小设置为 8×8 时，在准确率与计算成本之间取得最佳平衡，优于更小或更大的设置。
• 即使注意力图尺寸缩小至 1×1，加入 PTRE 与 VMA 的模型仍能保持优异性能，证明了通道视图组件的有效性。
• 可视化结果表明，注意力图能学习到强健的全局依赖模式，并增强跨模态特征的判别性。
• 失败案例揭示了对象模糊性、标注不一致性以及复杂场景带来的挑战，指明了未来改进方向。