[論文レビュー] BBS-Net: RGB-D Salient Object Detection with a Bifurcated Backbone Strategy Network

Fan Deng-Ping, Yingjie Zhai+3 more|arXiv (Cornell University)|Jan 1, 2020

Visual Attention and Saliency Detection参考文献 100被引用数 7

ひとこと要約

BBS-Netは、マルチレベル特徴を教師と生徒のブランチに分ける二分型バックボーン戦略（BBS）を用いた、バックボーンに依存しないリアルタイムRGB-D顕著オブジェクト検出ネットワークを提案する。さらに、チャネルおよび空間アテンションを用いてRGBと深度モダリティを統合する深度強化モジュール（DEM）を組み合わせた。本手法は、4つの指標で7つのベンチマークで最先端性能を達成し、18のSOTA手法を上回り、48 fpsで実行される。

ABSTRACT

Multi-level feature fusion is a fundamental topic in computer vision for detecting, segmenting, and classifying objects at various scales. When multi-level features meet multi-modal cues, the optimal fusion problem becomes a hot potato. In this paper, we make the first attempt to leverage the inherent multi-modal and multi-level nature of RGB-D salient object detection to develop a novel cascaded refinement network. In particular, we 1) propose a bifurcated backbone strategy (BBS) to split the multi-level features into teacher and student features, and 2) utilize a depth-enhanced module (DEM) to excavate informative parts of depth cues from the channel and spatial views. This fuses RGB and depth modalities in a complementary way. Our simple yet efficient architecture, dubbed Bifurcated Backbone Strategy Network (BBS-Net), is backbone independent, runs in real-time (48 fps), and significantly outperforms 18 SOTAs on seven challenging datasets using four metrics.

研究の動機と目的

• RGB-D顕著オブジェクト検出におけるマルチレベルおよびマルチモダリティ特徴の最適統合の課題に対処すること。
• 構造的な特徴分岐により特徴表現を向上させる、軽量で効率的かつバックボーンに依存しないアーキテクチャを設計すること。
• 深度強化モジュール（DEM）を用いて、空間的およびチャネルレベルの補完的特徴を抽出することで、深度モダリティの活用を向上させること。
• 多様で困難なデータセットにおいて性能を落とさずに、リアルタイム推論（48 fps）を達成すること。
• 4つの評価指標を用いて7つのベンチマークデータセットで18の最先端手法を上回ること。

提案手法

• マルチレベル特徴を別々の教師および生徒特徴ストリームに分割する二分型バックボーン戦略（BBS）を導入し、段階的な特徴精錬を実現する。
• チャネル方向および空間方向のアテンションメカニズムを用いて深度特徴を処理する深度強化モジュール（DEM）を設計する。
• 複数のレベルでRGB特徴とDEM出力を統合することで、RGBと深度特徴を補完的に統合する。
• 両モダリティからの精錬済み特徴を用いて段階的に予測を精錬するキャスケード精錬ネットワークを構築する。
• バックボーンの独立性を確保するため、ResNetやMobileNetなどのさまざまなバックボーンアーキテクチャと互換性を持つようにネットワークを設計する。
• 推論速度を最適化し、標準ハードウェア上でのリアルタイム性能（48 fps）を達成する。

実験結果

リサーチクエスチョン

• RQ1 RGB-D顕著オブジェクト検出におけるマルチレベルおよびマルチモダリティ特徴を効果的に統合する方法は何か？
• RQ2 マルチレベル特徴を教師および生徒ストリームに分離することで、特徴精錬および性能に与える影響は何か？
• RQ3 生のピクセルレベル入力以上の方法で、深度情報を利用し、顕著性予測を向上させることは可能か？
• RQ4 軽量でバックボーンに依存しないアーキテクチャが、リアルタイム推論速度を維持しながら最先端性能を達成できるか？
• RQ5 チャネル方向および空間方向のアテンションが、顕著性検出における深度特徴強化に果たす貢献は何か？

主な発見

• BBS-Netは、7つの挑戦的なRGB-D顕著性検出データセットで最先端性能を達成し、18の既存のSOTA手法を上回った。
• ネットワークは48フレーム毎秒で実行され、実用的デプロイメントに適したリアルタイム推論能力を示した。
• 二分型バックボーン戦略により、スケールにわたる特徴表現の向上が図られる段階的特徴精錬が可能になった。
• 深度強化モジュール（DEM）は、チャネルおよび空間次元から有用な特徴を抽出することで、深度モダリティの活用を顕著に向上させた。
• 提案手法はバックボーンに依存しないため、ResNetやEfficientNetなどのさまざまなCNNアーキテクチャと統合可能であり、性能の低下を引き起こさない。
• 定量的評価では、7つのすべてのデータセットで4つの評価指標（例：平均Fスコア、平均Eスコア、Sスコア、平均DSI）において一貫した向上が確認された。