[论文解读] MTFNet: Mutual-Transformer Fusion Network for RGB-D Salient Object Detection.

Xixi Wang, Bo Jiang+2 more|arXiv (Cornell University)|Dec 2, 2021

Visual Attention and Saliency Detection参考文献 48被引用 6

一句话总结

MTFNet 是一种新颖的 RGB-D 显著目标检测网络，引入了聚焦特征提取器（FFE）以实现精确的特征学习，并设计了互 transform 融合（MTF）模块以实现模态内与模态间特征的同步交互。通过联合模态学习有效利用 RGB 与深度信息，MTFNet 在六个公开基准上实现了最先进性能。

ABSTRACT

Salient object detection (SOD) on RGB-D images is an active problem in computer vision. The main challenges for RGB-D SOD problem are how to 1) extract the accurate features for RGB and Depth image data with clutter background or poor image quality and 2) explore the complementary information between RGB and Depth image data. To address these challenges, we propose a novel Mutual-Transformer Fusion Network (MTFNet) for RGB-D SOD. MTFNet contains two main modules, $i.e.$, Focal Feature Extractor (FFE) and Mutual-Transformer Fusion (MTF). FFE aims to extract the more accurate CNN features for RGB and Depth images by introducing a novel pixel-level focal regularization to guide CNN feature extractor. MTF is designed to deeply exploit the multi-modal interaction between RGB and Depth images on both coarse and fine scales. The main benefit of MTF is that it conducts the learning of intra-modality and inter-modality simultaneously and thus can achieve communication across different modalities more directly and sufficiently. Comprehensive experimental results on six public benchmarks demonstrate the superiority of our proposed MTFNet.

研究动机与目标

• 解决在杂乱背景或图像质量差的条件下从 RGB 图像和深度图像中提取精确特征的挑战。
• 利用 RGB 与深度模态之间的互补信息以提升显著目标检测性能。
• 通过联合学习模态内与模态间表示，实现实时且充分的跨模态通信。
• 构建一个统一框架，通过 RGB 与深度数据的多尺度融合增强特征表示。

提出的方法

• 提出一种聚焦特征提取器（FFE），通过像素级聚焦正则化引导基于 CNN 的 RGB 与深度图像特征提取。
• 设计一种互 transform 融合（MTF）模块，实现粗细空间尺度下模态内与模态间特征的联合学习。
• 通过 MTF 模块中的自注意力机制，在 RGB 与深度分支之间实现双向特征通信。
• 利用多尺度特征融合，在特征层次的全局与局部层面增强表示学习。
• 采用端到端监督损失进行网络训练，以优化显著性预测性能。
• 在 MTF 中利用互注意力机制，根据模态特定依赖关系与跨模态依赖关系动态加权并融合特征。

实验结果

研究问题

• RQ1 在杂乱背景或低图像质量等挑战性条件下，如何提升 RGB 与深度图像的特征提取精度？
• RQ2 联合学习模态内与模态间特征在多大程度上能增强 RGB-D 显著目标检测中的特征表示？
• RQ3 互 transform 架构能否在多个空间尺度上有效利用 RGB 与深度模态之间的互补信息？
• RQ4 所提出的 MTFNet 在标准 RGB-D SOD 基准上与现有最先进方法相比表现如何？

主要发现

• MTFNet 在六个公开的 RGB-D 显著目标检测基准上实现了最先进性能。
• 聚焦特征提取器（FFE）通过在基于 CNN 的特征学习中应用像素级正则化，显著提升了特征质量。
• 互 transform 融合（MTF）模块相比先前融合方法，实现了更有效且直接的跨模态通信。
• MTF 中模态内与模态间特征的联合学习带来了更优的表示学习与检测精度。
• 该模型在图像质量与背景复杂度各异的多样化数据集上表现出强大的泛化能力。
• 全面的消融实验验证了 FFE 与 MTF 组件在提升性能方面的有效性。