[論文レビュー] Accurate RGB-D Salient Object Detection via Collaborative Learning

Wei Ji, Jingjing Li+3 more|arXiv (Cornell University)|Jul 23, 2020

Visual Attention and Saliency Detection参考文献 69被引用数 14

ひとこと要約

本稿では、エッジ、深度、顕著性特徴を相互に有益な形で統合することで、正確なRGB-D顕著オブジェクト検出を実現する協調学習フレームワーク、CoNetを提案する。推論時に追加の深度ネットワークや深度入力を必要とせず、高レベル特徴学習に深度と顕著性学習を統合することで、軽量で高速（34 FPS）かつ鋭い境界保持を達成し、最先端の性能を実現した。

ABSTRACT

Benefiting from the spatial cues embedded in depth images, recent progress on RGB-D saliency detection shows impressive ability on some challenge scenarios. However, there are still two limitations. One hand is that the pooling and upsampling operations in FCNs might cause blur object boundaries. On the other hand, using an additional depth-network to extract depth features might lead to high computation and storage cost. The reliance on depth inputs during testing also limits the practical applications of current RGB-D models. In this paper, we propose a novel collaborative learning framework where edge, depth and saliency are leveraged in a more efficient way, which solves those problems tactfully. The explicitly extracted edge information goes together with saliency to give more emphasis to the salient regions and object boundaries. Depth and saliency learning is innovatively integrated into the high-level feature learning process in a mutual-benefit manner. This strategy enables the network to be free of using extra depth networks and depth inputs to make inference. To this end, it makes our model more lightweight, faster and more versatile. Experiment results on seven benchmark datasets show its superior performance.

研究の動機と目的

• FCNにおけるプーリング/アップサンプリングによるオブジェクト境界のぼやけや、分離された深度ネットワークによる高い計算コストといった、従来のRGB-D顕著性モデルの限界を解消すること。
• 推論時に深度入力に依存するという制限を克服し、RGB-Dモデルの実用的導入を促進すること。
• エッジ情報の明示的統合と、深度と顕著性表現の協調学習により、境界精度とモデル効率を向上させること。
• 追加の深度特徴や入力が不要な統合的で軽量なフレームワークを構築すること。

提案手法

• エッジ検出、粗い顕著性検出、深度推定の3つの相互に有益な協力者を備えた協調学習フレームワーク（CoNet）を導入する。
• 低レベル特徴からエッジ特徴を抽出・強化する専用のエッジ協力者を用い、顕著性マップにおける境界局在を向上させる。
• 独創的に、深度と顕著性学習を高レベル特徴学習に統合することで、推論時に深度画像を用いなくても深度関連の意味を推論できるようにする。
• 個々の協力者から得た知識を集約・転送する知識収集者（チューター）を設計し、特徴表現を強化する。
• エッジ、深度、顕著性の監視を統合的に最適化するマルチタスク学習により、モデルをエンドツーエンドで訓練する。
• RGB特徴から直接深度に敏感な表現を学習することで、補助的な深度ネットワークの必要性を排除し、モデルサイズと推論時間を削減する。

実験結果

リサーチクエスチョン

• RQ1 モデルの複雑さを増さずにエッジの監視がRGB-D顕著性検出の境界精度を向上させられるか？
• RQ2 高レベル特徴で深度と顕著性学習を共同最適化することで、分離された深度ネットワークの必要性を排除できるか？
• RQ3 協調学習フレームワークは、従来のRGB-Dモデルよりも高速かつ軽量でありながら最先端の性能を達成できるか？
• RQ4 推論時に深度入力が不要な状態で、顕著性検出の高精度を維持できるか？
• RQ5 本手法は、RGBのみの最先端モデルおよびRGB-Dの最先端モデルと比較して、速度、精度、モデル効率の面でどのように差をつけるか？

主な発見

• CoNetは7つのベンチマークデータセットで最先端の性能を達成し、$F_{\beta}^{w}$スコアはNJUDで0.856、NLPRで0.850、DUT-RSで0.871を記録し、22のSOTA手法を上回った。
• 推論速度は34 FPSを達成し、次に優れたRGB-Dモデル（DMRA）の55％の高速化を実現し、リアルタイム応用に適している。
• 7つのすべてのデータセットでMAE値が最低となり、DUT-RSでは0.031、NLPRでも0.031を記録し、顕著性予測の高精度を示した。
• モデルサイズがわずか167.6 MBで、TANET（951.9 MB）やMPCI（929.7 MB）といったより大きなモデルを上回るスピードと精度を達成し、顕著に効率的である。
• 視覚的結果から、低コントラストや複数オブジェクトを含む複雑なシーンにおいても、エッジと深度に敏感な特徴学習のおかげで優れた境界保持と精度を実現した。
• 定量的比較により、CoNetはCPD や PoolNet といったトップレベルのRGBのみの手法と同等の性能を示しつつ、深度情報をより効果的に活用していることが確認された。