[論文レビュー] Transformer Transforms Salient Object Detection and Camouflaged Object Detection

Yuxin Mao, Jing Zhang+7 more|arXiv (Cornell University)|Apr 20, 2021

Visual Attention and Saliency Detection参考文献 109被引用数 45

ひとこと要約

本論文は、顕著なオブジェクト検出（SOD）と camouflage されたオブジェクト検出（COD）のための統一されたトランスフォーマー基盤フレームワークを提案する。密なトランスフォーマーのバックボーンを活用することで、長距離依存関係をモデル化し、構造学習を向上させる。深層監督と難易度に応じた学習を統合することで、特徴の均一性とハードネガティブマッピングを向上させ、複数のSODおよびCODベンチマークで新たな最先端のパフォーマンスを達成した。

ABSTRACT

The transformer networks are particularly good at modeling long-range dependencies within a long sequence. In this paper, we conduct research on applying the transformer networks for salient object detection (SOD). We adopt the dense transformer backbone for fully supervised RGB image based SOD, RGB-D image pair based SOD, and weakly supervised SOD within a unified framework based on the observation that the transformer backbone can provide accurate structure modeling, which makes it powerful in learning from weak labels with less structure information. Further, we find that the vision transformer architectures do not offer direct spatial supervision, instead encoding position as a feature. Therefore, we investigate the contributions of two strategies to provide stronger spatial supervision through the transformer layers within our unified framework, namely deep supervision and difficulty-aware learning. We find that deep supervision can get gradients back into the higher level features, thus leads to uniform activation within the same semantic object. Difficulty-aware learning on the other hand is capable of identifying the hard pixels for effective hard negative mining. We also visualize features of conventional backbone and transformer backbone before and after fine-tuning them for SOD, and find that transformer backbone encodes more accurate object structure information and more distinct semantic information within the lower and higher level features respectively. We also apply our model to camouflaged object detection (COD) and achieve similar observations as the above three SOD tasks. Extensive experimental results on various SOD and COD tasks illustrate that transformer networks can transform SOD and COD, leading to new benchmarks for each related task. The source code and experimental results are available via our project page: this https URL.

研究の動機と目的

• ビジョントランスフォーマーが顕著なオブジェクト検出（SOD）および camouflage されたオブジェクト検出（COD）において、特に低監視状態下で効果的であるかを調査すること。
• ビジョントランスフォーマーに明示的な空間的監視が欠如している問題を解決するため、構造的および訓練戦略の向上を導入すること。
• RGBのみ、RGB-D、弱教師ありSODを統一されたトランスフォーマー基盤フレームワークで統合すること。
• 限られたアノテーションを伴うオブジェクト検出タスクにおいて、アテンションメカニズムと特徴学習ダイナミクスがトランスフォーマーに与える影響を評価すること。
• 提案されたフレームワークを camouflage されたオブジェクト検出に拡張し、さまざまな挑戦的な視覚的タスクにおける汎用性と頑健性を示すこと。

提案手法

• 長距離依存関係を捉え、低レベルおよび高レベルの特徴において特徴表現を向上させるために、密なトランスフォーマーバックボーンを採用する。
• 勾配を高レベル特徴にバックプロパゲートするために深層監視を導入し、意味的オブジェクト全体にわたる活性化の均一性を促進する。
• ハードピクセルを特定し、トレーニング中に効果的なハードネガティブマッピングを可能にするために、難易度に応じた学習を実装する。
• 従来のCNNバックボーンをビジョントランスフォーマーに置き換えることで、完全教師あり、RGB-D、弱教師ありの設定下でのSODおよびCODにおけるパフォーマンス向上を評価する。
• 微調整前後における特徴マップを可視化し、CNNとトランスフォーマーバックボーン間の構造的および意味的特徴学習の差を比較する。
• 統一されたフレームワークを camouflage されたオブジェクト検出に適用し、多様なオブジェクト外観の課題に対して一貫した改善を示す。

実験結果

リサーチクエスチョン

• RQ1 ビジョントランスフォーマーは、構造モデリングと一般化性能の向上を図りながら、顕著なオブジェクト検出においてCNNに代わって効果的に使用可能か？
• RQ2 深層監視と難易度に応じた学習は、トランスフォーマー基盤SODモデルにおける特徴学習をどのように向上させるか？
• RQ3 ビジョントランスフォーマーは、低レベルおよび高レベル特徴において、正確なオブジェクト構造と明確な意味的表現をどの程度学習するか？
• RQ4 提案された統一されたトランスフォーマーフレームワークは、高い視覚的曖昧性を示す camouflage されたオブジェクト検出に一般化可能か？
• RQ5 標準ベンチマーク上での既存のSODおよびCOD手法と比較して、トランスフォーマー基盤モデルのパフォーマンスはどの程度か？

主な発見

• 従来のCNNと比較して、トランスフォーマーバックボーンは特に低レベル特徴において、オブジェクト構造モデリングを顕著に向上させる。
• 微調整後、トランスフォーマーバックボーンは高レベル特徴においてより明確な意味的表現を生成し、検出精度を向上させる。
• 深層監視により、同じ意味的オブジェクトにわたる活性化がより均一になり、特徴の一貫性が向上する。
• 難易度に応じた学習は、ハードピクセルを効果的に特定し、より良いハードネガティブマッピングとパフォーマンスの向上を実現する。
• 統一されたトランスフォーマーフレームワークは、RGBのみ、RGB-D、弱教師あり設定を含む複数のSODおよびCODベンチマークで、新たな最先端の結果を達成した。
• モデルは camouflage されたオブジェクト検出に良好に一般化され、多様で挑戦的な視覚的条件下でも一貫したパフォーマンス向上を示した。