[論文レビュー] Adaptive Fusion for RGB-D Salient Object Detection

Ningning Wang, Xiaojin Gong|arXiv (Cornell University)|Jan 5, 2019

Visual Attention and Saliency Detection参考文献 29被引用数 4

ひとこと要約

本稿では、RGBと深度モダリティからの独立した注意喚起マップを生成する二ストリームCNNを用い、モダリティの信頼性に基づいて動的に統合するスイッチマップを学習するエンドツーエンドの適応的統合フレームワークを提案する。この手法は、適応的統合とエッジ保持損失を組み合わせることで、3つのベンチマークデータセットで最先端の性能を達成し、境界精度と注意喚起の整合性を顕著に向上させる。

ABSTRACT

RGB-D salient object detection aims to identify the most visually distinctive objects in a pair of color and depth images. Based upon an observation that most of the salient objects may stand out at least in one modality, this paper proposes an adaptive fusion scheme to fuse saliency predictions generated from two modalities. Specifically, we design a two-streamed convolutional neural network (CNN), each of which extracts features and predicts a saliency map from either RGB or depth modality. Then, a saliency fusion module learns a switch map that is used to adaptively fuse the predicted saliency maps. A loss function composed of saliency supervision, switch map supervision, and edge-preserving constraints is designed to make full supervision, and the entire network is trained in an end-to-end manner. Benefited from the adaptive fusion strategy and the edge-preserving constraint, our approach outperforms state-of-the-art methods on three publicly available datasets.

研究の動機と目的

• 色と深度モダリティの補完的情報を十分に活用できない固定統合戦略の限界を解消すること。
• 一方のモダリティでは視覚的に曖昧だが他方では明確な注意喚起オブジェクトを検出する課題を克服すること。
• 新しいエッジ保持損失関数を用いることで、注意喚起マップの境界精度と空間的整合性を向上させること。
• 学習可能なスイッチマップを用いて二つのモダリティの予測を適応的に統合するエンドツーエンドで訓練可能なフレームワークを開発すること。
• 深度品質やシーンの複雑さが異なる多様なデータセットにおいて一貫した性能向上を達成すること。

提案手法

• RGB画像と深度マップを別々に処理する二ストリームCNNアーキテクチャを採用し、それぞれが特徴を独立して抽出し、初期の注意喚起マップを予測する。
• 各空間位置でより信頼性の高いモダリティの予測に高い重みを割り当てるスイッチマップを学習する注意喚起統合モジュールを設計する。
• スイッチマップの学習を補助するために、個々のモダリティ予測の信頼度に基づいて疑似真値スイッチマップを構築する。
• 注意喚起境界のずれをペナルティ化するエッジ保持損失関数を導入し、空間的整合性を高め、ぼやけを低減する。
• 注意喚起の監督、スイッチマップの監督、エッジ保持制約を組み合わせた複合損失関数を用いて、ネットワーク全体をエンドツーエンドで訓練する。
• 各ストリームでマルチスケール特徴の集約を実装し、特徴表現を向上させつつもモデルの単純性を維持する。

実験結果

リサーチクエスチョン

• RQ1 RGBと深度の注意喚起予測の適応的統合は、要素ごとの加算や乗算といった固定統合戦略を上回る性能を発揮するか？
• RQ2 一つのモダリティが他よりも信頼性が高い状況において、モダリティ固有のスイッチマップを学習することで検出精度が向上するか？
• RQ3 エッジ保持損失は、統合された注意喚起マップの境界のシャープネスと空間的一致性をどの程度向上させるか？
• RQ4 本手法は、深度品質やシーンの複雑さが異なるデータセットにも一般化可能か？
• RQ5 注意喚起オブジェクトが片方のモダリティでのみ明確に識別可能な状況において、適応的統合戦略はどのように性能を発揮するか？

主な発見

• 提案手法は、NJUDで最大F-measure 0.899、NLPRで0.899、STEREOで0.904を達成し、3つのデータセットすべてで既存の最先端手法を上回った。
• NLPRではMAEを0.0327まで低減し、次善の手法PCA（0.0433）と比較して顕著な改善を示し、高品質な深度データでの優れた性能を実証した。
• エッジ保持損失は境界のぼやけを効果的に低減し、背景と類似した外観を示す困難な領域でも、よりシャープで整合性のある注意喚起マップを生成した。
• 可視化比較により、本手法は複雑なシーンにおける注意喚起オブジェクトの局所化が優れており、CTMF、MPCI、PCAと比較して深度の曖昧さに対してもより頑健に処理していることが示された。
• スイッチマップは信頼性の低い予測を抑制する—例として、低コントラスト領域ではRGB予測に低い重みを割り当てることで、効果的なモダリティ選択を実現した。
• 本手法は、強力なSOTAベースラインであるPCAを、すべての指標とデータセットで上回り続けた。これにより、適応的統合とエッジ正則化の有効性が裏付けられた。