[论文解读] DFTR: Depth-supervised Fusion Transformer for Salient Object Detection

Heqin Zhu, Xu Sun+4 more|arXiv (Cornell University)|Mar 12, 2022

Visual Attention and Saliency Detection被引用 14

一句话总结

该论文提出DFTR，这是首个基于纯Transformer架构的深度监督显著目标检测模型，仅在推理阶段使用RGB输入。它引入了多尺度特征聚合（MFA）和多阶段特征融合（MFF）模块，并采用单侧多级监督，实现双向、显著性感知的特征融合，无需在推理阶段使用深度输入，即可在十个RGB和RGB-D基准上实现最先进性能。

ABSTRACT

Automated salient object detection (SOD) plays an increasingly crucial role in many computer vision applications. By reformulating the depth information as supervision rather than as input, depth-supervised convolutional neural networks (CNN) have achieved promising results on both RGB and RGB-D SOD scenarios with the merits of no requirements for extra depth networks and depth inputs in the inference stage. This paper, for the first time, seeks to expand the applicability of depth supervision to the Transformer architecture. Specifically, we develop a Depth-supervised Fusion TRansformer (DFTR), to further improve the accuracy of both RGB and RGB-D SOD. The proposed DFTR involves three primary features: 1) DFTR, to the best of our knowledge, is the first pure Transformer-based model for depth-supervised SOD; 2) A multi-scale feature aggregation (MFA) module is proposed to fully exploit the multi-scale features encoded by the Swin Transformer in a coarse-to-fine manner; 3) To enable bidirectional information flow across different streams of features, a novel multi-stage feature fusion (MFF) module is further integrated into our DFTR with the emphasis on salient regions at different network learning stages. We extensively evaluate the proposed DFTR on ten benchmarking datasets. Experimental results show that our DFTR consistently outperforms the existing state-of-the-art methods for both RGB and RGB-D SOD tasks. The code and model will be made publicly available.

研究动机与目标

• 将深度监督学习从CNN架构扩展至纯Transformer架构，用于显著目标检测。
• 解决现有深度监督方法在推理阶段依赖额外深度输入或网络的问题。
• 通过在多个阶段实现双向、分层的特征融合，提升显著性检测中的特征表示能力。
• 开发一种轻量化、端到端的框架，在测试阶段无需配对深度图即可保持高精度。

提出的方法

• 所提出的DFTR使用Swin Transformer编码器从RGB图像中提取分层特征。
• 多尺度特征聚合（MFA）模块以自粗到精的方式，逐步融合相邻尺度的特征。
• 多阶段特征融合（MFF）模块在多个解码器阶段实现显著性与深度预测分支之间的双向信息流动。
• 在MFF模块上应用单侧多级监督（MLS），以在训练过程中强调显著区域。
• 模型联合优化显著目标检测与深度图预测任务，利用深度监督，但推理阶段无需深度输入。
• 使用下采样比为8的线性投影层，以降低通道维度并提升效率。

实验结果

研究问题

• RQ1 能否成功将深度监督学习扩展至用于显著目标检测的纯Transformer架构？
• RQ2 如何设计多尺度与多阶段特征融合机制，以在推理阶段无需深度输入的情况下提升显著性检测性能？
• RQ3 显著性与深度预测分支之间的双向特征流动对检测精度有何影响？
• RQ4 单侧多级监督如何增强网络不同阶段的特征学习？
• RQ5 单一统一的Transformer架构模型能否在RGB和RGB-D显著目标检测基准上均实现最先进性能？

主要发现

• DFTR在十个基准数据集上均达到最先进性能，优于所有现有的基于CNN和Transformer的方法，在RGB与RGB-D显著目标检测任务中均表现卓越。
• 消融实验表明，MFA与MFF模块显著提升性能，其中MFF在各数据集上均带来稳定增益。
• 单侧多级监督（MLS）策略取得最佳结果，证明其在训练过程中聚焦显著区域的有效性。
• 如表4所示，将Swin Transformer模块深度设为1、线性层下采样比设为8时，性能达到最优。
• 该模型在所有数据集上均取得最高的$F_\beta$与$S_\beta$分数，其中在NJU-2K与NLPR数据集上$F_\beta$超过0.93，在STERE与SIP数据集上$S_\beta$高于0.91。
• 该模型在包含复杂背景的多样化数据集上仍保持强劲性能，证实其鲁棒性与泛化能力。