[論文レビュー] Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection

Shuhan Chen, Yun Fu|arXiv (Cornell University)|Aug 17, 2020

Visual Attention and Saliency Detection参考文献 62被引用数 7

ひとこと要約

本稿では、事前学習されたバックボーンによる不適合性や冗長性を回避するため、スクラッチから訓練された深さストリームを用いて補完的なハイレベルな深さ特徴を抽出する、軽量で効率的なRGB-D顕著オブジェクト検出ネットワークを提案する。交交互な精錬戦略とガイド付き残差ブロックを採用し、予測を段階的に精錬することで、相互劣化を低減し、精度を向上させる。71 FPSおよび64.9 MBのモデルサイズで最先端の性能を達成している。

ABSTRACT

In this paper, we aim to develop an efficient and compact deep network for RGB-D salient object detection, where the depth image provides complementary information to boost performance in complex scenarios. Starting from a coarse initial prediction by a multi-scale residual block, we propose a progressively guided alternate refinement network to refine it. Instead of using ImageNet pre-trained backbone network, we first construct a lightweight depth stream by learning from scratch, which can extract complementary features more efficiently with less redundancy. Then, different from the existing fusion based methods, RGB and depth features are fed into proposed guided residual (GR) blocks alternately to reduce their mutual degradation. By assigning progressive guidance in the stacked GR blocks within each side-output, the false detection and missing parts can be well remedied. Extensive experiments on seven benchmark datasets demonstrate that our model outperforms existing state-of-the-art approaches by a large margin, and also shows superiority in efficiency (71 FPS) and model size (64.9 MB).

研究の動機と目的

• RGB-D顕著オブジェクト検出における深さ特徴抽出に、ImageNetで事前学習されたバックボーンを使用する際の非効率性と不適合性を解決すること。
• 事前学習済みネットワークに依存せず、スクラッチから訓練する軽量な深さストリームを採用することで、モデルの冗長性と計算コストを低減すること。
• 深さマップが低品質またはノイズが多い場合に顕著な特徴の相互劣化を軽減すること。
• ガイド付き残差ブロックによる段階的ガイド付き戦略で、粗い予測を段階的に精錬することで、検出精度を向上させること。
• 性能を損なわず、高い効率性とコンactなモデルサイズを実現し、リアルタイム推論を可能にすること。

提案手法

• スクラッチから訓練する4層の軽量深さストリームを構築し、ハイレベルな深さ特徴を抽出することで、低レベルのテクスチャの冗長性を回避する。
• マルチスケール残差（MSR）ブロックを用いて、RGB特徴から初期の粗い予測を生成する。
• 交交互な精錬戦略を実装：RGBおよび深さ特徴を順次ガイド付き残差（GR）ブロックに供給することで、信頼性の高いRGB特徴の劣化を防ぐ。
• ガイド付き残差（GR）ブロックを設計し、入力の予測マップが各ブロック内の特徴マップおよび予測マップの精錬をガイドする。
• 各サイドアウトプット内のスタックされたGRブロックに段階的ガイド付き戦略を適用し、より深い特徴が浅い特徴を段階的に精錬できるようにする。
• 複数スケールのサイドアウトプットを用いて精錬プロセスを監督し、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 スクラッチから訓練する軽量な深さストリームは、モデルサイズと計算量を削減しながら、事前学習されたバックボーンを上回る性能を発揮できるか？
• RQ2 RGBおよび深さ特徴を逐次処理する交交互な精錬戦略は、早期融合や後期融合と比較して、相互劣化を効果的に低減できるか？
• RQ3 スタックされたGRブロックにおける段階的ガイド付き戦略は、欠落部分や誤検出を効果的に是正できるか？
• RQ4 本手法は、コントラストが低い画像、ノイズが多い深さマップ、複雑なシーンといった困難な状況でも効果的に動作するか？
• RQ5 最先端の精度を達成しながら、高い推論速度とコンパクトさをどの程度維持できるか？

主な発見

• 提案手法は7つのベンチマークデータセットで最先端の性能を達成し、CPFP や DMRA といった既存手法を常に上回っている。
• 71 FPSで動作し、モデルサイズはわずか64.9 MBであり、他のSOTAモデルに比べて顕著に高速で効率的な推論性能を示している。
• NJUDおよびNLPRデータセットでは、CPFP や DMRA ですら事前学習済みバックボーンを避けるにもかかわらず、F-measure および平均Fスコアでより高い性能を達成している。
• 視覚的比較により、コントラストが低い画像、ノイズが多い深さマップ、複数の小さなオブジェクトが存在する複雑なシーンなど、困難な状況でも顕著オブジェクトを的確に検出できていることが示された。
• PR曲線は特に高い再現率領域で優れた性能を示しており、顕著オブジェクトの完全な検出が可能であることを示している。
• アブレーションスタディにより、交交互な精錬戦略と段階的ガイド付き戦略が、検出精度と低品質な深さ入力に対するロバスト性を顕著に向上させていることが確認された。