[論文レビュー] CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse

Hao Chen, Youfu Li|arXiv (Cornell University)|Sep 20, 2019

Visual Attention and Saliency Detection参考文献 54被引用数 7

ひとこと要約

本稿では、階層的クロスモダリティ蒸留、リーマンスベースの補完選択器、トップダウン融合ネットワークを通じて、モダリティ固有の表現学習、補完的ヒント選択、クロスモダリティ統合を体系的に行うCNNベースのRGB-D顕著オブジェクト検出フレームワークを提案する。本手法は、限られたラベル付き深度データにおけるRGBの教師信号を活用して深度特徴を学習することで、類似した外観や複雑な背景を伴う困難なシーンでも、頑健で一様な顕著度予測を実現し、最先端の性能を達成する。

ABSTRACT

The goal of this work is to present a systematic solution for RGB-D salient object detection, which addresses the following three aspects with a unified framework: modal-specific representation learning, complementary cue selection and cross-modal complement fusion. To learn discriminative modal-specific features, we propose a hierarchical cross-modal distillation scheme, in which the well-learned source modality provides supervisory signals to facilitate the learning process for the new modality. To better extract the complementary cues, we formulate a residual function to incorporate complements from the paired modality adaptively. Furthermore, a top-down fusion structure is constructed for sufficient cross-modal interactions and cross-level transmissions. The experimental results demonstrate the effectiveness of the proposed cross-modal distillation scheme in zero-shot saliency detection and pre-training on a new modality, as well as the advantages in selecting and fusing cross-modal/cross-level complements.

研究の動機と目的

• ラベル付き深度データが限られるRGB-D顕著オブジェクト検出の課題に対処し、効果的なモダリティ固有の表現学習を可能にする。
• RGBおよび深度モダリティからの補完的ヒントを適応的に選択することで、クロスモダリティ統合を向上させる。
• 統合意思決定のための十分なクロスモダリティおよびクロスレベル特徴の統合を達成する。
• 良好に訓練されたソースモダリティからの知識移行を活用して、微調整なしに新しいモダリティにおけるゼロショット顕著度検出を可能にする。
• 単一レベルの統合に依存し、適応的補完選択を欠く既存の二ストリームネットワークの制限を克服する。

提案手法

• ラベル付き深度データを必要とせず、良好に訓練されたRGBネットワークが深度特徴学習を指導する階層的クロスモダリティ蒸留スキームを導入する。
• RGBおよび深度モダリティ間の補完的特徴を明示的にモデル化し、適応的に選択するためのリーマンス関数を採用する。
• 複数の特徴階層に跨るクロスレベルおよびクロスモダリティ相互作用を可能にするトップダウン統合構造を設計する。
• 幾何的ヒントの利用を向上させるために、深度マップを3チャンネル表現に変換するHHA符号化を用いる。
• 蒸留プロセスにおいてL2損失を交差エントロピー損失に置き換えることで、トレーニング中にサイド出力が正例顕著度マスクと一致するようにする。
• 段階的に特徴を統合し、異なるレベルおよびモダリティからの特徴を組み合わせることで、顕著度マップを段階的に精錬するマルチスケール統合戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付き深度データが乏しい状況下で、クロスモダリティ蒸留スキームが効果的に判別性の高い深度特徴を学習できるか？
• RQ2 RGBおよび深度モダリティからの補完的ヒントをどのように適応的に選択すれば顕著度検出の性能を向上させられるか？
• RQ3 クロスレベル特徴を統合するトップダウン統合機構は、より良い表現学習および検出性能をもたらすか？
• RQ4 提案手法は、微調整なしに新しいモダリティにおけるゼロショット顕著度検出に一般化可能か？
• RQ5 空間的詳細の保持および文脈的一致性の観点から、提案された統合戦略は、初期統合や後期統合と比べて優れているか？

主な発見

• 提案手法は、ベンチマークデータセット上で11の最先端のRGB-D顕著オブジェクト検出手法を上回り、F-measure、平均絶対誤差、Fβスコアにおいて顕著な向上を示した。
• 階層的クロスモダリティ蒸留スキームにより、ラベル付き深度アノテーションがなくても、RGBモダリティからの知識移行を活用して、効果的なゼロショット顕著度検出が可能となった。
• クロスレベル特徴相互作用を有するトップダウン統合構造は、より豊かな表現を生み出し、単一レベル統合ベースラインと比較してF-measureが3.5%向上した。
• リーマンスベースの補完選択器は、情報量が多く冗長でないヒントに注目することで、特徴統合を強化し、より一様で詳細な顕著度マップを生成した。
• 類似した外観、非一様な深度、複雑なごみだらけのシーンといった困難な状況下でも、モデルは高い正確性と一貫性を維持し、RGBオンリーメソッド（例：DSS）を上回った。
• 表4の定量的結果から、クロスレベル特徴の伝達が性能向上に寄与することが確認され、統合におけるマルチレベル相互作用の重要性が裏付けられた。