[論文レビュー] Cross-Modal Weighting Network for RGB-D Salient Object Detection

Gongyang Li, Zhi Liu+3 more|arXiv (Cornell University)|Jul 9, 2020

Visual Attention and Saliency Detection参考文献 44被引用数 7

ひとこと要約

本稿では、Depth-to-RGB Weighting (DW) と RGB-to-RGB Weighting (RW) を用いて、クロススケールおよびクロスモーダル特徴の相互作用を強化する3つの専用モジュール（CMW-L、CMW-M、CMW-H）を備えた、新しいRGB-D顕著オブジェクト検出フレームワークであるCross-Modal Weighting Network (CMWNet) を提案する。CMWNetは7つのベンチマークで最先端の性能を達成し、NJU-Depthデータセットにおける平均Fスコアが0.907に達する。

ABSTRACT

Depth maps contain geometric clues for assisting Salient Object Detection (SOD). In this paper, we propose a novel Cross-Modal Weighting (CMW) strategy to encourage comprehensive interactions between RGB and depth channels for RGB-D SOD. Specifically, three RGB-depth interaction modules, named CMW-L, CMW-M and CMW-H, are developed to deal with respectively low-, middle- and high-level cross-modal information fusion. These modules use Depth-to-RGB Weighing (DW) and RGB-to-RGB Weighting (RW) to allow rich cross-modal and cross-scale interactions among feature layers generated by different network blocks. To effectively train the proposed Cross-Modal Weighting Network (CMWNet), we design a composite loss function that summarizes the errors between intermediate predictions and ground truth over different scales. With all these novel components working together, CMWNet effectively fuses information from RGB and depth channels, and meanwhile explores object localization and details across scales. Thorough evaluations demonstrate CMWNet consistently outperforms 15 state-of-the-art RGB-D SOD methods on seven popular benchmarks.

研究の動機と目的

• 既存のRGB-D SOD手法におけるクロスモーダルおよびクロススケール特徴の相互作用が限定的であるという問題に対処すること。
• 深度マップの補完的幾何的ヒントとRGB特徴を活用して顕著オブジェクト検出を向上させること。
• 低レベル、中レベル、高レベルの特徴表現間での特徴統合を強化するマルチレベルエンコーダ-デコーダアーキテクチャを設計すること。
• 除去実験と定量的比較を通じて、深度ガイドド特徴強化の有効性を検証すること。

提案手法

• RGBおよび深度入力から低レベル、中レベル、高レベル特徴を捉える3段階のエンコーダ-デコーダアーキテクチャを提案する。
• クロススケールおよびクロスモーダル特徴強化を目的とした3つのクロスモーダル重み付け（CMW）モジュール（CMW-L、CMW-M、CMW-H）を導入する。
• 深度応答マップを用いてRGB特徴を強化するDepth-to-RGB Weighting (DW) と、RGB特徴自体の応答に基づいてRGB特徴を精緻化するRGB-to-RGB Weighting (RW) を採用する。
• DWおよびRWでグローバルフィルタ（GF）を用いて文脈情報を集約し、特徴表現を向上させる。
• 中間予測からのマルチスケール監視を組み合わせた複合損失関数を採用し、学習の安定性と性能を向上させる。
• デコーダーでディープスケール監視を実装し、複数段階での中間予測を通じて、顕著マップを段階的に精緻化する。

実験結果

リサーチクエスチョン

• RQ1 RGBと深度特徴間のクロスモーダルおよびクロススケール相互作用を効果的にモデル化する方法は何か？
• RQ2 DWによる深度ガイドド特徴強化とRWによるRGB自己強化の、検出精度向上に与える寄与度はそれぞれどの程度か？
• RQ3 隣接するCNNブロック間のクロススケール重み付けと非隣接または同一スケールの重み付けとを比較した場合、性能および特徴の連続性にどのような差が生じるか？
• RQ4 デコーダーにおけるディープスケール監視は、最終的な顕著マップ予測品質をどの程度向上させるか？

主な発見

• CMWNetは7つの公開RGB-D SODベンチマークで最先端の性能を達成し、6つの評価指標において15のSOTA手法を上回った。
• 除去実験では、CMW-LおよびCMW-Mを削除すると性能が著しく低下（例：NJU2KにおけるFスコアは0.902から0.894に低下）し、詳細な特徴強化にこれらが重要であることが確認された。
• CMW-Hを削除すると顕著な性能低下（例：SSDにおけるFスコアは0.871から0.845に低下）を示し、顕著オブジェクトの局所化に不可欠な役割を果たしていることが示された。
• 本稿で提案するDWおよびRW重み付け機構は、連結（w/o Wei）よりも効果的であり、境界の明瞭さにおいてDWがRWよりも優れた強化効果を示した。
• 隣接ブロック間のクロススケール重み付け（Ours）は、非隣接（C2S）および同一スケール（w/o CS）の変種を上回り、特徴の連続性を保つ優位性を実証した。
• 複数の中間監視を含むディープスケール監視（複数の段階での中間予測）は、単一の最終監視（w/o DS）に比べて顕著な性能向上を示し、精緻化に不可欠であることが確認された。