[論文レビュー] RGB-D Salient Object Detection via 3D Convolutional Neural Networks

Qian Chen, Ze Liu+4 more|arXiv (Cornell University)|Jan 25, 2021

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本論文は、エンコーダーでRGBと深度特徴を早期に統合するためのインフレートド3次元畳み込みを活用し、深層統合を実現する3次元デコーダー（RBPPとCMAを備える）を採用する、RGB-D顕著オブジェクト検出のための最初の3次元CNNベースのモデルRD3Dを提案する。RD3Dは6つのベンチマークデータセットにおいて14の最先端手法を上回り、段階的でエンドツーエンドの3次元クロスマダリティ特徴統合により優れた精度を示す。

ABSTRACT

RGB-D salient object detection (SOD) recently has attracted increasing research interest and many deep learning methods based on encoder-decoder architectures have emerged. However, most existing RGB-D SOD models conduct feature fusion either in the single encoder or the decoder stage, which hardly guarantees sufficient cross-modal fusion ability. In this paper, we make the first attempt in addressing RGB-D SOD through 3D convolutional neural networks. The proposed model, named RD3D, aims at pre-fusion in the encoder stage and in-depth fusion in the decoder stage to effectively promote the full integration of RGB and depth streams. Specifically, RD3D first conducts pre-fusion across RGB and depth modalities through an inflated 3D encoder, and later provides in-depth feature fusion by designing a 3D decoder equipped with rich back-projection paths (RBPP) for leveraging the extensive aggregation ability of 3D convolutions. With such a progressive fusion strategy involving both the encoder and decoder, effective and thorough interaction between the two modalities can be exploited and boost the detection accuracy. Extensive experiments on six widely used benchmark datasets demonstrate that RD3D performs favorably against 14 state-of-the-art RGB-D SOD approaches in terms of four key evaluation metrics. Our code will be made publicly available: https://github.com/PPOLYpubki/RD3D.

研究の動機と目的

• エンコーダーまたはデコーダーでのみ特徴を統合する既存のRGB-D SODモデルにおけるクロスマダリティ統合能力の制限を解消すること。
• 3次元畳み込みニューラルネットワークが、顕著オブジェクト検出におけるRGBと深度モダリティの効果的で段階的な統合に果たす可能性を調査すること。
• エンコーダーでの事前統合とデコーダーでの明示的かつ詳細な統合を両立できる完全な3次元CNNベースのフレームワークを設計すること。
• 3次元畳み込みの内在的特徴集約能力を活用することで、複雑な専用統合モジュールの必要性を排除すること。
• 豊富なバックプロジェクションパス（RBPP）とチャネル・モダリティアテンション（CMA）の有効性を検証すること。

提案手法

• モデルは、深度を時間次元として扱うことで、RGBと深度入力を3次元畳み込みを用いて事前統合するインフレートド3次元ResNetベースのエンコーダーを採用し、初期のクロスマダリティ相互作用を実現する。
• エンコーダーからのマルチレベル特徴を統合するため、独自の3次元デコーダー（RBPP）が設計され、空間的およびモダリティに特化した表現学習が強化される。
• チャネルとモダリティ固有の重要度に基づいて特徴マップを動的に再キャリブレーションするため、デコーダーにチャネル・モダリティアテンション（CMA）モジュールが統合される。
• フレームワークは段階的統合戦略を採用する：3次元エンコーダーでの事前統合と、3次元デコーダーでの明示的かつモダリティに特化した統合により、包括的なクロスマダリティ統合が保証される。
• 標準的な損失関数を用いてエンドツーエンドで学習され、特徴マップは空間的および時間的（モダリティ）次元で処理される。
• アーキテクチャは完全に3次元であり、エンコーダーおよびデコーダーの両方で3次元畳み込みが適用され、2次元ベースの先行手法とは明確に区別される。

実験結果

リサーチクエスチョン

• RQ1 3次元畳み込みニューラルネットワークは、顕著オブジェクト検出のためのエンコーダーでのRGBと深度特徴の事前統合を効果的に可能にするか？
• RQ2 豊富なバックプロジェクションパス（RBPP）を備えた3次元デコーダーは、標準の2次元または3次元U-Netデコーダーと比較して、特徴集約と検出精度を向上させるか？
• RQ3 提案されたチャネル・モダリティアテンション（CMA）機構は、標準的なチャネルアテンションと比較して、モダリティに特化した特徴学習をどのように改善するか？
• RQ4 完全な3次元CNNベースのフレームワークは、特にクロスマダリティ特徴統合において、既存の2次元ベースのエンコーダー・デコーダー・モデルを上回る性能を示すか？
• RQ5 エンコーダーでの事前統合とデコーダーでの統合の相対的寄与度は、全体の性能にどのように影響するか？

主な発見

• RD3Dは、6つの広く使われているRGB-D SODベンチマークで最先端の性能を達成し、4つの評価指標において14の既存のSOTA手法を上回った。
• アブレーションスタディにより、追加モジュールなしのベースライン3次元ResNetモデル（Model-1）が、最近のSOTAモデルDANetおよびJL-DCFをすでに上回っていることが確認され、3次元畳み込みの内在的強力さが示された。
• 豊富なバックプロジェクションパス（RBPP）を削除すると一貫した性能低下が生じ、マルチレベルでモダリティに特化した特徴を活用する有効性が裏付けられた。
• 提案されたCMAモジュールを標準的なシーケンス・エキスパンションアテンションに置き換えると性能が低下し、3次元文脈におけるチャネル・モダリティアテンション機構の優位性が確認された。
• RBPPとCMAの両方を備えた完全なRD3Dモデルが最良の結果を達成しており、アブレーションにより両者の組み合わせが顕著な性能向上をもたらすことが示された。
• モデルは2ストリームネットワークと同等の推論速度とモデルサイズを維持しており、3次元設計が顕著な計算オーバーヘッドを伴わないことが示された。