[论文解读] Boosting Salient Object Detection with Transformer-based Asymmetric Bilateral U-Net

Yu Qiu, Yun Liu+2 more|arXiv (Cornell University)|Aug 17, 2021

Visual Attention and Saliency Detection参考文献 83被引用 4

一句话总结

本文提出ABiU-Net，一种基于Transformer的非对称双路U-Net结构，用于显著性目标检测，通过联合利用视觉Transformer进行全局上下文建模和轻量级CNN进行局部细节学习。通过在双编码器-解码器路径中实现跨路径通信以融合特征，ABiU-Net在多个基准测试中实现了最先进性能，通过互补的全局-局部表征学习超越了先前方法。

ABSTRACT

Existing salient object detection (SOD) methods mainly rely on U-shaped convolution neural networks (CNNs) with skip connections to combine the global contexts and local spatial details that are crucial for locating salient objects and refining object details, respectively. Despite great successes, the ability of CNNs in learning global contexts is limited. Recently, the vision transformer has achieved revolutionary progress in computer vision owing to its powerful modeling of global dependencies. However, directly applying the transformer to SOD is suboptimal because the transformer lacks the ability to learn local spatial representations. To this end, this paper explores the combination of transformers and CNNs to learn both global and local representations for SOD. We propose a transformer-based Asymmetric Bilateral U-Net (ABiU-Net). The asymmetric bilateral encoder has a transformer path and a lightweight CNN path, where the two paths communicate at each encoder stage to learn complementary global contexts and local spatial details, respectively. The asymmetric bilateral decoder also consists of two paths to process features from the transformer and CNN encoder paths, with communication at each decoder stage for decoding coarse salient object locations and fine-grained object details, respectively. Such communication between the two encoder/decoder paths enables AbiU-Net to learn complementary global and local representations, taking advantage of the natural merits of transformers and CNNs, respectively. Hence, ABiU-Net provides a new perspective for transformer-based SOD. Extensive experiments demonstrate that ABiU-Net performs favorably against previous state-of-the-art SOD methods. The code is available at https://github.com/yuqiuyuqiu/ABiU-Net.

研究动机与目标

• 解决基于CNN的显著性目标检测方法在建模长距离全局依赖关系方面的局限性。
• 克服纯Transformer-based SOD方法中缺乏局部表征学习的问题。
• 设计一种统一架构，协同结合视觉Transformer与CNN的优势，以提升显著性检测性能。
• 设计一种双路径编码器-解码器结构，实现有效的跨路径特征通信，以促进互补特征学习。
• 通过轻量化、端到端可训练的架构，在标准SOD基准上实现最先进性能。

提出的方法

• 提出一种非对称双路编码器，包含一个用于全局上下文建模的视觉Transformer路径（TEncPath）和一个用于局部空间细节学习的轻量级CNN路径（HEncPath）。
• 在每个编码器阶段引入跨路径特征交互机制，将两条路径的特征进行拼接并处理，以增强互补表征学习。
• 设计一种非对称双路解码器，包含独立的Transformer路径（TDecPath）和CNN路径（HDecPath），分别用于解码粗粒度显著图和细粒度细节。
• 在Transformer路径的最终解码阶段引入深度监督，以提升特征判别性，同时避免过拟合。
• 在解码器中采用多尺度特征融合策略，整合来自两条路径的层次化特征，以实现精确的显著性预测。
• 使用包含二元交叉熵损失和边界感知损失的联合损失函数进行端到端训练，以改善边缘定位性能。

实验结果

研究问题

• RQ1 双路径编码器-解码器架构能否有效结合视觉Transformer的全局建模能力与CNN的局部特征学习能力，以实现显著性目标检测的性能提升？
• RQ2 在编码器和解码器阶段引入跨路径特征通信，相比单路径模型，如何改善特征表征能力？
• RQ3 在Transformer解码路径的最终阶段引入深度监督，是否能在不增加计算成本的前提下有效提升特征判别性？
• RQ4 在未进行ImageNet预训练的情况下，轻量级CNN路径的表现如何？其是否仍对检测精度有显著贡献？
• RQ5 所提出的ABiU-Net的失败模式是什么？其与目标尺寸、显著性模糊性或背景复杂度有何关联？

主要发现

• ABiU-Net在五个主要SOD基准上达到新的最先进性能：DUT-OMRON、DUTS-TE、ECSSD、PASCAL-S和HKU-IS，其平均F-measure得分分别为0.891、0.857、0.913、0.824和0.876。
• 消融实验表明，非对称双路设计显著优于单路径模型（如TED+DS或HED+DS），验证了互补全局-局部学习的优势。
• 模型对超参数变化具有鲁棒性，在不同通道设置下仅表现出轻微性能波动，表明其具备强大的泛化能力。
• 在Transformer解码路径的最终阶段引入深度监督可获得最佳性能，证明其在增强特征学习方面的有效性。
• 失败案例揭示了在检测极小或不明显的物体、处理具有相似语义内容的复杂背景，以及应对模糊的真值标注方面存在局限性。
• 轻量级CNN路径在未进行ImageNet预训练的情况下仍表现良好，表明该架构即使在预训练数据有限时也具备有效性。