[論文レビュー] PDNet: Prior-model Guided Depth-enhanced Network for Salient Object Detection

Chunbiao Zhu, Xing Cai+3 more|arXiv (Cornell University)|Mar 23, 2018

Visual Attention and Saliency Detection参考文献 10被引用数 15

ひとこと要約

PDNetは、事前モデルに従う深さ強化型の完全畳み込みネットワークを提案し、RGB-D顕著オブジェクト検出に用いる。大規模なRGBデータで事前学習されたマスターネットワークと、独立したサブネットワークを用いて深度ヒントを処理する。5つのベンチマークデータセットで最先端の性能を達成し、LFSDではF-measureが0.8805、NJU2000-TEでは0.8503に達する。

ABSTRACT

Fully convolutional neural networks (FCNs) have shown outstanding performance in many computer vision tasks including salient object detection. However, there still remains two issues needed to be addressed in deep learning based saliency detection. One is the lack of tremendous amount of annotated data to train a network. The other is the lack of robustness for extracting salient objects in images containing complex scenes. In this paper, we present a new architecture$ - $PDNet, a robust prior-model guided depth-enhanced network for RGB-D salient object detection. In contrast to existing works, in which RGB-D values of image pixels are fed directly to a network, the proposed architecture is composed of a master network for processing RGB values, and a sub-network making full use of depth cues and incorporate depth-based features into the master network. To overcome the limited size of the labeled RGB-D dataset for training, we employ a large conventional RGB dataset to pre-train the master network, which proves to contribute largely to the final accuracy. Extensive evaluations over five benchmark datasets demonstrate that our proposed method performs favorably against the state-of-the-art approaches.

研究の動機と目的

• 顕著度検出における深層ネットワークの学習に用いられる、アノテーション付きRGB-Dデータセットの限られた可用性に対処する。
• 同じ外観を持つ場合にRGBのみの特徴が失敗するような複雑なシーンにおけるロバスト性を向上させる。
• 直接連結するのではなく、独立した深度処理サブネットワークを用いることで、深度情報をより効果的に統合する。
• マスターネットワークの特徴学習を強化するため、大規模なRGBデータセットを用いて事前学習を行う。
• アーキテクチャの革新と効果的な特徴統合により、複数のベンチマークデータセットで最先端の性能を達成する。

提案手法

• 大規模なRGBデータセット（例：ImageNet）でマスターネットワークを事前学習し、RGB-Dデータでの微調整の前に汎用的な特徴を学習する。
• 深度マップを別個に処理するための独立したサブネットワークを設計し、メインストリームへの直接統合を避ける。
• ハイパーパrameter α を用いた重み付き統合戦略を用い、最終予測段階でRGBベースの特徴と深度強化特徴を統合する。
• エンコーダ-デコーダ構造を持つU-Netに類似したアーキテクチャを採用：エンコーダーが階層的特徴を抽出し、デコーダーが空間分解能を回復して密度予測を実現する。
• エンコーダーとデコーダーの間にスキップ接続を設け、空間的詳細を保持し、境界の局所化を向上させる。
• トレーニングの安定化とマスターネットワーク内の特徴表現の向上を図るため、事前モデルガイドランス機構を導入する。

実験結果

リサーチクエスチョン

• RQ1 大規模なRGBデータで事前学習したマスターネットワークが、限られたRGB-D顕著度検出データセットで性能を著しく向上させるか？
• RQ2 メインネットワークに第4チャネルとして深度を直接入力するのではなく、専用のサブネットワークで深度を処理することで、より良い性能が得られるか？
• RQ3 同じ質感の背景を持つ複雑なシーンにおいて、深度ヒントの統合が検出精度にどのように影響するか？
• RQ4 RGBと深度特徴を統合する最適な戦略は何か？ 顕著度マップの品質を最大化するには？
• RQ5 提案されたアーキテクチャは、多様なRGB-Dベンチマークで一般化可能であり、既存の最先端手法を上回るか？

主な発見

• PDNetはNJU2000-TEでF-measure 0.8503、NLPR-TEで0.8478を達成し、CTMF17、DF17、TPF17を含むすべての比較手法を上回った。
• LFSDデータセットではF-measure 0.8805、MAE 0.0384を達成し、複雑なシーンでも優れた性能を示した。
• アブレーションスタディの結果、RGBデータでの事前学習と独立した深度サブネットワークの両方が性能向上に顕著な貢献をしていることが確認され、α=1が最良の結果をもたらした。
• 可視化比較では、競合手法よりもシャープな顕著度マップを生成し、境界の保持と詳細な表現が優れていた。
• 全5つのデータセットにおけるPR曲線は、PDNetが常にすべてのベースラインを上回っていることを確認しており、特に高再現率領域で顕著な優位性を示した。
• PDNetは全5つのベンチマークデータセットで一貫した改善を達成しており、強力な一般化能力を示している。