[論文レビュー] Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection

Chen Zhang, Runmin Cong+5 more|arXiv (Cornell University)|Aug 4, 2021

Visual Attention and Saliency Detection参考文献 45被引用数 5

ひとこと要約

本稿では、RGB-D顕著オブジェクト検出のためのクロスモダリティ不一致インタラクションネットワーク（CDINet）を提案する。このネットワークは、初期層でRGBを用いて深度の詳細を強化する（RDEモジュール）、後続層で深度を用いてRGBの意味を向上させる（DSEモジュール）ことで、特徴を差別的に強化する。また、多層特徴を統合してスイープ接続を改善するための密度的復元構造（DDRモジュール）を備える。CDINetは、5つのベンチマークデータセットで最先端の性能を達成し、42 FPSのリアルタイム推論が可能である。

ABSTRACT

The popularity and promotion of depth maps have brought new vigor and vitality into salient object detection (SOD), and a mass of RGB-D SOD algorithms have been proposed, mainly concentrating on how to better integrate cross-modality features from RGB image and depth map. For the cross-modality interaction in feature encoder, existing methods either indiscriminately treat RGB and depth modalities, or only habitually utilize depth cues as auxiliary information of the RGB branch. Different from them, we reconsider the status of two modalities and propose a novel Cross-modality Discrepant Interaction Network (CDINet) for RGB-D SOD, which differentially models the dependence of two modalities according to the feature representations of different layers. To this end, two components are designed to implement the effective cross-modality interaction: 1) the RGB-induced Detail Enhancement (RDE) module leverages RGB modality to enhance the details of the depth features in low-level encoder stage. 2) the Depth-induced Semantic Enhancement (DSE) module transfers the object positioning and internal consistency of depth features to the RGB branch in high-level encoder stage. Furthermore, we also design a Dense Decoding Reconstruction (DDR) structure, which constructs a semantic block by combining multi-level encoder features to upgrade the skip connection in the feature decoding. Extensive experiments on five benchmark datasets demonstrate that our network outperforms $15$ state-of-the-art methods both quantitatively and qualitatively. Our code is publicly available at: https://rmcong.github.io/proj_CDINet.html.

研究の動機と目的

• 既存のRGB-D SOD手法がモダリティを対称的または単方向的に扱うという制限を是正するため、より洗練された層依存のクロスモダリティ相互作用戦略を検討する。
• RGBが細部に優れるのに対し、深度が構造的一致性に優れるという相補的特長を活用し、特徴表現を向上させる。
• 低レベルの細部と高レベルの意味を、モダリティ固有のガイドラインによって効果的に向上させる、軽量かつ効果的なアーキテクチャを設計する。
• 多様なベンチマークデータセットで優れた精度を維持しつつ、リアルタイム推論を実現する。

提案手法

• RGB誘発的詳細強化（RDE）モジュールは、初期エンコーダ層で高解像度のRGB特徴を注入することで、深度特徴を強化し、境界やテクスチャの詳細を向上させる。
• 深度誘発的意味強化（DSE）モジュールは、深層のオブジェクト位置特定と内部一貫性をRGBブランチに転送することで、意味表現を精緻化する。
• 密度的復元構造（DDR）は、複数レベルのエンコーダ特徴を統合して意味ブロックを形成し、標準的なスイープ接続に代わって特徴統合を改善する。
• ネットワークは、非対称で層特化のクロスモダリティ相互作用を有する二重ストリームバックボーンを採用し、異なるレベルでの特徴表現に応じたモダリティ依存性をモデル化する。
• RDEとDSEモジュールは、それぞれのモダリティが異なる抽象化レベルで果たす役割に応じて、RDEは初期層、DSEは後続層に限定的に適用する。
• 全体のフレームワークは、顕著度予測のためのバイナリクロスエントロピー損失とDice損失を組み合わせたマルチタスク損失を用いて、エンド・ツー・エンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 非一様で層特化のクロスモダリティ相互作用戦略は、対称的または単方向的相互作用を上回る性能を発揮できるか？
• RQ2 RGBと深度モダリティを、ネットワークの異なる深さでどのように異なる方法で活用できるか？
• RQ3 復元パスにおける標準的なスイープ接続を密度的特徴統合機構に置き換えると、性能にどのような影響を与えるか？
• RQ4 提案された不一致インタラクション設計は、対称的または単方向的手法と比較して、計算コストを低く抑えつつ、より優れた性能を達成できるか？

主な発見

• CDINetは、5つのベンチマークデータセットで15の最先端手法を上回り、全データセットで最高のmax F-measureとS-measureを達成した。
• DSEモジュールを削除すると、NLPRでmax F-measureが1.1%、DUTで1.6%向上し、意味表現精緻化におけるその重要性が裏付けられた。
• DDR構造は、標準的なスイープ接続と比較して、DUTデータセットでmax F-measureを0.8%、MAEを9.6%向上させた。
• 提案された不一致インタラクションモード（CDINet）は、単方向（RSEのみ）および双方向（対称的RSEとDSE）の両方の変種を上回り、パラメータ数が少なく、推論が速い。
• モデルは42 FPSで動作し、リアルタイム推論を実現しながらも、最先端の精度を維持しており、速度と性能の良好なトレードオフを示している。
• 可視化結果から、DSEモジュールがRGB特徴におけるオブジェクト応答を強化し、背景ノイズを抑制していることが確認され、注意と特徴レベルでの効果的な相互作用が示された。