[論文レビュー] RGB-D Salient Object Detection with Cross-Modality Modulation and Selection

Chongyi Li, Runmin Cong+3 more|arXiv (Cornell University)|Jul 14, 2020

Visual Attention and Saliency Detection参考文献 45被引用数 10

ひとこと要約

本稿では、クロスモダリティ特徴変調（cmFM）と適応的特徴選択（AFS）を用いて特徴表現を強化する、新しいRGB-D顕著オブジェクト検出ネットワークを提案する。これにより、正確でエッジを保持する顕著性予測が可能となる。統合されたcmMSブロックが変調、選択、注意メカニズムを統合し、粗いから細かい段階への特徴の段階的精錬を可能にすることで、6つのベンチマークで最先端の性能を達成した。

ABSTRACT

We present an effective method to progressively integrate and refine the cross-modality complementarities for RGB-D salient object detection (SOD). The proposed network mainly solves two challenging issues: 1) how to effectively integrate the complementary information from RGB image and its corresponding depth map, and 2) how to adaptively select more saliency-related features. First, we propose a cross-modality feature modulation (cmFM) module to enhance feature representations by taking the depth features as prior, which models the complementary relations of RGB-D data. Second, we propose an adaptive feature selection (AFS) module to select saliency-related features and suppress the inferior ones. The AFS module exploits multi-modality spatial feature fusion with the self-modality and cross-modality interdependencies of channel features are considered. Third, we employ a saliency-guided position-edge attention (sg-PEA) module to encourage our network to focus more on saliency-related regions. The above modules as a whole, called cmMS block, facilitates the refinement of saliency features in a coarse-to-fine fashion. Coupled with a bottom-up inference, the refined saliency features enable accurate and edge-preserving SOD. Extensive experiments demonstrate that our network outperforms state-of-the-art saliency detectors on six popular RGB-D SOD benchmarks.

研究の動機と目的

• 顕著オブジェクト検出において、補完的なRGBと深度特徴を効果的に統合する課題に対処すること。
• 不一致またはノイジーな深度マップからの干渉を低減するため、クロスモダリティ関係をより強固にモデル化すること。
• マルチモダリティの文脈において、空間的およびチャネル的次元で顕著性関連特徴を適応的に選択すること。
• 位置およびエッジに注意を向けるアテンションを用いて、顕著性マップの境界の正確性と完全性を向上させること。
• 統一された粗いから細かい段階への精錬パイプラインを通じて、複数のRGB-D SODベンチマークで最先端の性能を達成すること。

提案手法

• 学習可能な変調を用いて、深度特徴を事前知識として用いてRGB特徴表現を強化するクロスモダリティ特徴変調（cmFM）モジュールを導入し、単純な連結や加算を避ける。
• マルチモダリティ空間的特徴のゲーテッド統合を適用するとともに、自己モダリティおよびクロスモダリティのチャネルアテンションをモデル化することで、動的特徴重み付けを実現する適応的特徴選択（AFS）モジュールを提案する。
• 予測された顕著性マップとエッジマップを用いてアテンションをガイドする顕著性誘導型位置-エッジアテンション（sg-PEA）モジュールを採用し、顕著領域およびエッジに注目する。
• cmFM、AFS、sg-PEAを統合した統一されたcmMSブロックを構築し、順次変調、選択、アテンションを経て、顕著性特徴の粗いから細かい段階への精錬を可能にする。
• 最終的な顕著性マップにおける検出精度とエッジの保持性をさらに向上させるために、ボトムアップ特徴推論を用いる。
• ネットワーク全体は標準の教師信号を用いてエンドツーエンドで学習され、より良い局在化を実現するためのマルチスケールの監督を活用する。

実験結果

リサーチクエスチョン

• RQ1 RGBと深度特徴を、単純な早期または後期統合を越えて効果的に統合する方法は何か？
• RQ2 空間的およびチャネル的次元で顕著性関連特徴を適応的に選択することで、ノイジーまたは一貫性のない深度入力に対しても性能が向上するか？
• RQ3 予測された顕著性マップによってガイドされる位置およびエッジに注意を向けるアテンションを組み込むことで、境界の正確性がどの程度向上するか？
• RQ4 変調、選択、精錬を統合した粗いから細かい段階のモジュラーなパイプラインは、既存のRGB-D SODアーキテクチャを上回る性能を発揮するか？
• RQ5 提案されたフレームワークは多様なベンチマークに一般化可能であり、最先端の性能を達成できるか？

主な発見

• cmFM、AFS、sg-PEAを統合した提案されたcmMSブロックは、6つの代表的RGB-D SODベンチマークで最先端の性能を達成した。
• アブレーションスタディの結果、cmFMモジュールを除去すると顕著性性能が著しく低下し、STEREOデータセットでは$F_\beta$が0.9084から0.8727に低下した。
• AFSモジュールはベースラインを上回る性能を発揮する。このモジュールを除去するとSTEREOで$F_\beta$が0.8990に低下し、従来のチャネルアテンションに置き換えた場合でもわずかな向上にとどまった。
• sg-PEAモジュールは境界の正確性に不可欠である。このモジュールを除去するとSTEREOで$F_\beta$が0.9057に低下し、エッジアテンション部を除去した場合、境界がぼやけることが確認された。
• 完全なモデルはDUT-Testデータセットで$F_\beta$が0.9328、MAEが0.0366を達成し、以前の最先端手法を上回った。
• 可視化比較により、本手法はCPFPやA2deleよりもより完全で鋭くエッジを保持する顕著性マップを生成することが確認された。