[論文レビュー] Deep RGB-D Saliency Detection with Depth-Sensitive Attention and Automatic Multi-Modal Fusion

Peng Sun, Zhang Wenhu+3 more|arXiv (Cornell University)|Mar 22, 2021

Visual Attention and Saliency Detection参考文献 39被引用数 8

ひとこと要約

本稿では、RGB-D顕著オブジェクト検出のための新規2ストリームフレームワークDSA2Fを提案する。この手法は、深度に敏感なアテンションを用いてRGB特徴を強化し、背景の雑音を低減するとともに、タスク固有のニューラルアーキテクチャ探索（NAS）により、自動的に最適なマルチモーダル統合アーキテクチャを発見する。本手法は、深度幾何の事前知識と、マルチスケールで異種の特徴統合に特化した設計された探索空間を活用することで、7つのベンチマークで最先端の性能を達成した。

ABSTRACT

RGB-D salient object detection (SOD) is usually formulated as a problem of classification or regression over two modalities, i.e., RGB and depth. Hence, effective RGBD feature modeling and multi-modal feature fusion both play a vital role in RGB-D SOD. In this paper, we propose a depth-sensitive RGB feature modeling scheme using the depth-wise geometric prior of salient objects. In principle, the feature modeling scheme is carried out in a depth-sensitive attention module, which leads to the RGB feature enhancement as well as the background distraction reduction by capturing the depth geometry prior. Moreover, to perform effective multi-modal feature fusion, we further present an automatic architecture search approach for RGB-D SOD, which does well in finding out a feasible architecture from our specially designed multi-modal multi-scale search space. Extensive experiments on seven standard benchmarks demonstrate the effectiveness of the proposed approach against the state-of-the-art.

研究の動機と目的

• RGB-D顕著オブジェクト検出における深度幾何の事前知識を効果的に活用し、特徴表現を向上させるとともに、背景の干渉を低減する課題に対処すること。
• RGB-D SODにおけるマルチモーダルでマルチスケールの特徴統合に特化した、タスク固有のニューラルアーキテクチャ探索（NAS）空間を設計すること。
• 手作業で設計されたものよりも優れた非対称な統合アーキテクチャを自動で発見し、性能を向上させること。
• 7つの標準RGB-Dベンチマークにおける広範な実験を通じて、提案手法の有効性を示すこと。

提案手法

• 深度に敏感なアテンションモジュール（DSAM）は、元の深度マップを複数の深度間隔領域に分解し、空間アテンションを用いて深度幾何に基づいてRGB特徴を強化することで、背景の干渉を低減する。
• 本手法は、異種のRGBおよび深度特徴を効果的にモデリングするため、空間的およびチャネルアテンション操作を組み込んだ、新規のマルチモーダルでマルチスケールのNAS探索空間を導入する。
• VGG-19をバックボーンとして用い、微分可能アーキテクチャ探索（DARTSベース）により、設計された探索空間から最適な統合アーキテクチャを自動で発見する。
• DSAMにおける統合操作には要素ごとの乗算が用いられ、これは深度に基づく幾何的ヒントに従ってRGB特徴に重みを付ける空間アテンションメカニズムとして機能する。
• 探索空間には4種類のセルタイプ（MM、MS、GA、SR）が含まれており、スキャットコンネクションとアテンション機構をサポートすることで、柔軟で高容量のアーキテクチャ探索を可能にする。
• 最終的なアーキテクチャはマルチスケールの監視を伴ってエンドツーエンドで訓練され、バックボーンと統合モジュールが同時に最適化される。

実験結果

リサーチクエスチョン

• RQ1 顕著オブジェクト検出において、深度の幾何的事前知識を効果的に活用し、RGB特徴を強化するとともに、背景の干渉を抑制できるか？
• RQ2 タスク固有のニューラルアーキテクチャ探索空間を設計することで、RGB-D SODにおける最適なマルチモーダルでマルチスケールの統合アーキテクチャを自動で発見できるか？
• RQ3 提案されたNASベースの統合アーキテクチャは、人為的に設計されたモジュールを上回る性能を示すか？
• RQ4 分解における深度領域の数が、深度に敏感なアテンションモジュールの性能にどのように影響するか？

主な発見

• 提案された深度に敏感なアテンションモジュール（DSAM）は、DUT-RGBDでベースラインのFβスコアを5.9ポイント向上させ、平均誤差（M）を0.069から0.051に低下させた。
• DSA2Fの完全なフレームワークは、DUT-RGBDでFβスコア0.926、平均誤差0.030を達成し、ベースラインよりFβで9.6%の向上を示した。
• 最適な深度分解には3つの領域（T+1=3）が使用され、深度間隔を適切に捉えつつ過学習を回避するバランスが図られた。
• NAS探索空間にアテンション操作を組み込むことで、DUT-RGBDでFβが1.2%向上し、特徴の精錬においてその重要性が裏付けられた。
• 自動で探索された統合アーキテクチャは、NLPRでFβ 0.897、M 0.024を達成し、ベースラインよりFβで13.5%の向上を示した。
• 除去実験の結果、DSAM、NASベースの統合、および完全なアーキテクチャの各要素が、7つのベンチマークすべてで性能向上に顕著な貢献をしていることが確認された。