[論文レビュー] DFTR: Depth-supervised Fusion Transformer for Salient Object Detection

Heqin Zhu, Xu Sun+4 more|arXiv (Cornell University)|Mar 12, 2022

Visual Attention and Saliency Detection被引用数 14

ひとこと要約

本稿では、推論時におけるRGB入力のみを用いる、深さ教師付き顕著オブジェクト検出のための最初の純正Transformerベースのモデル、DFTRを提案する。マルチスケール特徴集約（MFA）とマルチステージ特徴統合（MFF）モジュールに加え、片側マルチレベル監視を適用することで、双方向的かつ顕著性に配慮した特徴統合を実現し、推論時に深さ入力を必要としない10のRGBおよびRGB-Dベンチマークで最先端の性能を達成した。

ABSTRACT

Automated salient object detection (SOD) plays an increasingly crucial role in many computer vision applications. By reformulating the depth information as supervision rather than as input, depth-supervised convolutional neural networks (CNN) have achieved promising results on both RGB and RGB-D SOD scenarios with the merits of no requirements for extra depth networks and depth inputs in the inference stage. This paper, for the first time, seeks to expand the applicability of depth supervision to the Transformer architecture. Specifically, we develop a Depth-supervised Fusion TRansformer (DFTR), to further improve the accuracy of both RGB and RGB-D SOD. The proposed DFTR involves three primary features: 1) DFTR, to the best of our knowledge, is the first pure Transformer-based model for depth-supervised SOD; 2) A multi-scale feature aggregation (MFA) module is proposed to fully exploit the multi-scale features encoded by the Swin Transformer in a coarse-to-fine manner; 3) To enable bidirectional information flow across different streams of features, a novel multi-stage feature fusion (MFF) module is further integrated into our DFTR with the emphasis on salient regions at different network learning stages. We extensively evaluate the proposed DFTR on ten benchmarking datasets. Experimental results show that our DFTR consistently outperforms the existing state-of-the-art methods for both RGB and RGB-D SOD tasks. The code and model will be made publicly available.

研究の動機と目的

• 顕著オブジェクト検出のための深さ教師付き学習を、CNNから純正Transformerアーキテクチャへと拡張すること。
• 推論時に追加の深さ入力やネットワークに依存する既存の深さ教師付き手法の限界を解消すること。
• 複数の段階にわたる双方向的かつ階層的な特徴統合を可能にすることで、顕著性検出における特徴表現を向上させること。
• テスト時にペアド深さマップを必要としない、軽量でエンドツーエンドのフレームワークを構築すること。

提案手法

• 提案されたDFTRは、RGB画像からの階層的特徴を抽出するためにSwin Transformerエンコーダを用いる。
• マルチスケール特徴集約（MFA）モジュールは、粗いスケールから細かいスケールへと段階的に隣接スケールの特徴を統合する。
• マルチステージ特徴統合（MFF）モジュールは、複数のデコーダーステージで顕著性と深さ予測のスレッド間で双方向の情報伝達を可能にする。
• MFFモジュールに片側マルチレベル監視（MLS）を適用することで、学習中に顕著領域に重点を置く。
• モデルは顕著オブジェクト検出と深さマップ予測の両方を同時に最適化し、推論時に深さ入力を必要としない深さ教師付き学習を実現する。
• チャネル次元を低減し、効率を向上させるために、ダウンサンプリング比8の線形投影層を用いる。

実験結果

リサーチクエスチョン

• RQ1 顕著オブジェクト検出のための深さ教師付き学習を、純正Transformerベースのアーキテクチャへと成功裏に拡張できるか？
• RQ2 推論時に深さ入力を必要としない状況で、マルチスケールおよびマルチステージ特徴統合をどのように設計すれば顕著性検出の性能を向上させられるか？
• RQ3 顕著性と深さ予測ブランチ間の双方向的特徴フローが、検出精度に与える影響は何か？
• RQ4 片側マルチレベル監視が、ネットワークの異なる段階における特徴学習にどのように寄与するか？
• RQ5 1つの統合されたTransformerベースのモデルが、RGBおよびRGB-D SODベンチマークの両方で最先端の性能を達成できるか？

主な発見

• DFTRは10のベンチマークデータセットで最先端の性能を達成し、RGBおよびRGB-D SODタスクの両方において、既存のすべてのCNNベースおよびTransformerベースの手法を上回った。
• アブレーションスタディの結果、MFAおよびMFFモジュールが性能向上に顕著に寄与しており、特にMFFが複数のデータセットで一貫した向上をもたらした。
• 片側マルチレベル監視（MLS）戦略が最良の結果をもたらし、学習中に顕著領域に焦点を当てる有効性を示した。
• Swin Transformerブロックの深さを1に設定し、線形層のダウンサンプリング比を8にした場合が最適な性能を示した（表4参照）。
• すべてのデータセットで最高の$F_\beta$および$S_\beta$スコアを達成し、NJU-2KおよびNLPRでは$F_\beta$が0.93を超えたのに対し、STEREおよびSIPでは$S_\beta$が0.91を超えた。
• 複雑な背景を有するデータセットを含む多様なデータセットにおいても、強力な性能を維持しており、モデルの頑健性と一般化能力を確認した。