[論文レビュー] A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection

Xiaoqi Zhao, Lihe Zhang+3 more|arXiv (Cornell University)|Jul 14, 2020

Visual Attention and Saliency Detection参考文献 49被引用数 19

ひとこと要約

本稿では、新規の深度強化デュアルアテンションモジュール（DEDA）とピラミッド型アテンション特徴抽出（PAFE）を用いて、早期および中間特徴統合を実現する単一スティリームで軽量かつリアルタイムなRGB-D顕著オブジェクト検出ネットワークを提案する。モデルは384×384画像上で55.5%のパラメータ削減と32 FPSの推論速度を達成し、複数のベンチマークで最先端の性能を発揮する。

ABSTRACT

Existing RGB-D salient object detection (SOD) approaches concentrate on the cross-modal fusion between the RGB stream and the depth stream. They do not deeply explore the effect of the depth map itself. In this work, we design a single stream network to directly use the depth map to guide early fusion and middle fusion between RGB and depth, which saves the feature encoder of the depth stream and achieves a lightweight and real-time model. We tactfully utilize depth information from two perspectives: (1) Overcoming the incompatibility problem caused by the great difference between modalities, we build a single stream encoder to achieve the early fusion, which can take full advantage of ImageNet pre-trained backbone model to extract rich and discriminative features. (2) We design a novel depth-enhanced dual attention module (DEDA) to efficiently provide the fore-/back-ground branches with the spatially filtered features, which enables the decoder to optimally perform the middle fusion. Besides, we put forward a pyramidally attended feature extraction module (PAFE) to accurately localize the objects of different scales. Extensive experiments demonstrate that the proposed model performs favorably against most state-of-the-art methods under different evaluation metrics. Furthermore, this model is 55.5\% lighter than the current lightest model and runs at a real-time speed of 32 FPS when processing a $384 imes 384$ image.

研究の動機と目的

• 2ストリームRGB-Dネットワークの限界、特にモodal差による高いパラメータ数と一般化性能の低さを是正すること。
• 深度マップを単なるモダリティとしてではなく、アテンションのガイドとしての空間的事前知識として活用することで、顕著オブジェクト検出における特徴の区別能を向上させること。
• 高い精度を維持しながら、リアルタイムの推論速度と小型化を実現する軽量なアーキテクチャを設計すること。
• 複数スケールの特徴表現を向上させるために、スケール間の空間相関をモデル化するピラミッド型アテンション特徴抽出モジュールを設計すること。

提案手法

• 4チャネル入力（RGB + 深度）を備えた単一スティリームエンコーダーを設計し、ImageNetで事前学習された重みと新規の初期化戦略を用いて訓練の安定化を図る。
• 深度強化デュアルアテンションモジュール（DEDA）は、2本の並列ブランチでマスクガイドドおよび深度ガイドドアテンションを適用し、前景・背景の混同を抑制するとともにコントラストを強化する。
• ピラミッド型アテンション特徴抽出（PAFE）モジュールは、複数の受容野を持つ特徴間の空間相関を計算することで、正確な局所化に寄与する文脈表現を向上させる。
• 早期統合には要素ごとの加算と4チャネル連結を用い、後者の方がベースラインと比較して顕著な性能向上を示した。
• デコーダーは深度とマスクの事前知識に基づいて、前景と背景の予測を同時に最適化する2本のブランチアテンションを採用する。
• 事前学習済みImageNetバックボーンと4チャネル入力を利用する際の訓練安定化を図るため、新規の初期化手法を導入した。

実験結果

リサーチクエスチョン

• RQ1 単一スティリームアーキテクチャは、モデル複雑性を低減させながらも、2ストリームネットワークの代替としてRGB-D顕著オブジェクト検出に有効に機能するか？
• RQ2 深度マップを単純な特徴連結を超えて、顕著性検出におけるアテンション機構の強化にどのように活用できるか？
• RQ3 深度ガイドドアテンション機構は、複雑なシーンにおける前景・背景の区別能をどの程度向上させ得るか？
• RQ4 ピラミッド型アテンション特徴抽出モジュールは、計算コストを著しく増加させることなく、マルチスケールオブジェクト局所化を改善できるか？
• RQ5 リアルタイムRGB-D顕著性検出において、モデル効率、精度、推論速度のトレードオフはどのように変化するか？

主な発見

• 提案モデルは、現在最も軽量なモデルと比較して55.5%のモデルサイズ削減を達成し、VGG-16バックボーンを用いる場合でも106.7 MBにまでに制限される。
• 384×384画像上で32 FPSの推論速度を達成し、リアルタイム推論を実現する。
• RGBD135データセットにおいて、ベースラインのCat He法と比較してMAEが16.36%改善され、Fβ^meanは5.44%向上した。
• 深度強化デュアルアテンションモジュール（DEDA）は、マスクガイドドアテンションと比較して、RGBD135でFβ^maxで2.1%、Fβ^meanで1.8%の性能向上を達成した。
• ピラミッド型アテンション特徴抽出（PAFE）モジュールは、FLOPsがわずかに増加（4.00G vs. 3.86G）かつパラメータ数もわずかに増加（7.07M vs. 6.82M）するのみで、ASPPを上回る性能を発揮した。
• 可視化結果から、DEDAは特にコントラストが低く、ごみが多く散らかったシーンにおいて、前景および背景領域の誤分類を効果的に是正していることが示された。