[論文レビュー] Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection

Nian Liu, Ni Zhang+2 more|arXiv (Cornell University)|Oct 12, 2020

Visual Attention and Saliency Detection参考文献 47被引用数 5

ひとこと要約

本稿では、RGBと深度特徴間の高次元で三重線形な特徴相互作用を可能にする、クロスモダリティ非局所自己注意を活用した新規な相互自己注意メカニズムを提案する。一方のモダリティの注意を用いて他方のモダリティにおける文脈伝搬をガイドすることで、対照的学習と選択的深度再重み付けを統合し、新しい大規模で高品質なRGB-DデータセットReDWeb-Sを用いて検証された結果、複数のベンチマークで最先端の性能を達成した。

ABSTRACT

How to effectively fuse cross-modal information is the key problem for RGB-D salient object detection. Early fusion and the result fusion schemes fuse RGB and depth information at the input and output stages, respectively, hence incur the problem of distribution gap or information loss. Many models use the feature fusion strategy but are limited by the low-order point-to-point fusion methods. In this paper, we propose a novel mutual attention model by fusing attention and contexts from different modalities. We use the non-local attention of one modality to propagate long-range contextual dependencies for the other modality, thus leveraging complementary attention cues to perform high-order and trilinear cross-modal interaction. We also propose to induce contrast inference from the mutual attention and obtain a unified model. Considering low-quality depth data may detriment the model performance, we further propose selective attention to reweight the added depth cues. We embed the proposed modules in a two-stream CNN for RGB-D SOD. Experimental results have demonstrated the effectiveness of our proposed model. Moreover, we also construct a new challenging large-scale RGB-D SOD dataset with high-quality, thus can both promote the training and evaluation of deep models.

研究の動機と目的

• 初期の特徴統合や単純な特徴融合の限界、特に分布ギャップや不十分なクロスモダリティ相互作用に起因する問題を解決すること。
• RGBと深度モダリティ間の補完的注意の手がかりを活用した、高次元で三重線形なクロスモダリティ相互作用メカニズムの開発。
• 低品質な深度データの負の影響を、深度特徴の信頼性に基づいて再重み付けする選択的注意メカニズムにより低減すること。
• 実世界の顕著オブジェクト検出モデルの訓練と評価をより良く行うために、新しい大規模で高品質なRGB-Dベンチマークデータセット（ReDWeb-S）の構築。
• 相互自己注意と対照的学習を統合した単一のエンドツーエンド学習可能なフレームワークの構築により、性能の向上を図ること。

提案手法

• 一方のモダリティ（例：深度）からの非局所自己注意を用いて、他方のモダリティ（例：RGB）における長距離文脈伝搬をガイドする相互自己注意メカニズムを提案。これにより、高次元のクロスモダリティ相互作用が可能になる。
• 相互自己注意マップから得られる正例と負例を対比することで特徴の識別性を向上させる対照的学習モジュールを導入。
• 深度特徴の信頼性に基づいて再重み付けを行う選択的注意メカニズムを設計。低品質な深度マップに起因するノイズを低減。
• エンドツーエンド学習と推論を可能にする二ストリームU-Netアーキテクチャに、提案されたSMACモジュールを統合。
• 空間的位置間のクエリ-キーパートナーシップを非局所ネットワークで計算し、長距離の文脈的依存関係を捉え、伝搬可能にする。
• RGBと深度特徴間の高次元相互作用をモデル化するため、三重線形プーリングを採用。複雑なクロスモダリティ関係を捉える。

実験結果

リサーチクエスチョン

• RQ1 非局所的文脈伝搬を伴うクロスモダリティ相互自己注意は、標準的な特徴統合をはるかに超えてRGB-D顕著オブジェクト検出を改善できるか？
• RQ2 相互自己注意から得られる対照的学習は、RGB-D顕著オブジェクトモデルにおける特徴の識別性をどのように向上させるか？
• RQ3 深度特徴の選択的再重み付けは、低品質な深度データに起因する性能低下をどの程度低減できるか？
• RQ4 高品質な深度マップを備えた新しい大規模な実世界RGB-Dデータセットは、最先端モデルの一般化性能と性能を向上させるか？
• RQ5 相互自己注意、対照的学習、選択的深度重み付けを統合した統合型モデルは、多様なベンチマークで既存のSOTA手法を上回る性能を発揮できるか？

主な発見

• 提案されたSMACモデルは、9つのベンチマークデータセットのうち8つで従来の最先端手法を上回り、特に複雑な実世界シーンにおいて顕著な向上を示した。
• ReDWeb-Sデータセットで訓練されたSMAC*バージョンは、SIPデータセット（実世界シーンを含む）を除き、ほとんどのデータセットでSMACを上回る性能を達成した。
• RGBD135やDUTLF-Depthといった近距離で単純なアーティファクトに焦点を当てたデータセットでは、SMACがSMAC*を上回った。これは、ReDWeb-Sが実世界の多様性を補完するデータセットであることを示している。
• NJUD + ReDWeb-Sで訓練した場合の平均性能順位（APR）は2.72であり、すべての単一および二重データセット訓練設定の中で最高であった。これは、ReDWeb-Sの補完的価値を示している。
• 定性的な結果から、SMACおよびSMAC*は、複雑なシーン、小さなオブジェクト、複数のオブジェクト、遠く離れたオブジェクト、目立たないオブジェクトなど、従来の手法が失敗する課題に対しても顕著なオブジェクトを正しく検出できた。
• アブレーションスタディの結果、相互自己注意、対照的学習、選択的注意の各モジュールが最終的な性能向上に寄与していることが確認され、特に相互自己注意が最も大きな影響を及ぼしていた。