[論文レビュー] Learning RGB-D Salient Object Detection using background enclosure, depth contrast, and top-down features

Riku Shigematsu, Dagan Feng+2 more|arXiv (Cornell University)|May 10, 2017

Visual Attention and Saliency Detection参考文献 26被引用数 11

ひとこと要約

本論文は、高レベルの意味的特徴、低レベルの深度コントラスト特徴、および新規のミドルレベルの背景封鎖分布（BED）特徴を統合する、RGB-D顕著オブジェクト検出のための新規な深層CNNアーキテクチャを提案する。この手法は、RGBD1000データセット上でFスコア0.848を達成し、2位の手法より10.7%高い性能を示し、深度コントラストと背景封鎖の組み合わせが顕著性予測の向上に有効であることを実証している。

ABSTRACT

Recently, deep Convolutional Neural Networks (CNN) have demonstrated strong performance on RGB salient object detection. Although, depth information can help improve detection results, the exploration of CNNs for RGB-D salient object detection remains limited. Here we propose a novel deep CNN architecture for RGB-D salient object detection that exploits high-level, mid-level, and low level features. Further, we present novel depth features that capture the ideas of background enclosure and depth contrast that are suitable for a learned approach. We show improved results compared to state-of-the-art RGB-D salient object detection methods. We also show that the low-level and mid-level depth features both contribute to improvements in the results. Especially, F-Score of our method is 0.848 on RGBD1000 dataset, which is 10.7% better than the second place.

研究の動機と目的

• RGBと深度入力からのマルチレベル特徴を活用する、RGB-D顕著オブジェクト検出のための包括的な深層CNNベースのシステムの開発。
• 深層CNNのRGB-D顕著性検出における限られた活用を補うために、新規の深度特化特徴の導入。
• 低レベルの深度コントラストとミドルレベルの背景封鎖特徴の両方を組み込むことで、検出精度の向上。
• 除去実験を通じて、深度特徴および提案されたBED特徴の寄与度の評価。
• RGBD1000やNJUDS2000などのベンチマークデータセットにおける最先端の性能の提示。

提案手法

• 事前学習済みネットワーク（例：VGG16）からの高レベル特徴、提案された背景封鎖分布（BED）からのミドルレベル特徴、および深度コントラストからの低レベル特徴を統合する深層CNNアーキテクチャの提案。
• ミドルレベルの深度表現としてのBED特徴を導入。これは、領域周囲の深度値の空間的分布を符号化し、背景封鎖をモデル化するもので、エンドツーエンド学習に適している。
• 局所的な顕著性の手がかりを強化するために、領域の深度とその周囲の深度値との差を測定する、明示的な深度コントラストを特徴とする低レベル深度特徴を設計。
• 異なるレベル（低、ミドル、高）からの特徴を統合するためのマルチスケール統合戦略を採用し、洗練された顕著性マップを生成。
• RGBD1000およびNJUDS2000データセットで、Adadelta最適化手法、データオーグメンテーション（回転および反転）、学習率の段階的減少を用いたエンドツーエンド学習パイプラインを採用。
• ノイズの多い深度データ（例：NJUDS2000）に対応するため、スーパーピクセルヒストグラム差分の代わりに平均深度を用いる特徴表現の適応により、耐性を向上。

実験結果

リサーチクエスチョン

• RQ1 深層CNNアーキテクチャは、RGBと深度特徴を効果的に統合し、既存手法を上回る顕著オブジェクト検出を実現できるか？
• RQ2 低レベルの深度コントラスト特徴は、RGBオンリーモデルと比較して、顕著性検出にどのように寄与するか？
• RQ3 提案されたミドルレベルの背景封鎖分布（BED）特徴は、検出性能をどの程度向上させるか？
• RQ4 高レベル、ミドルレベル、低レベルの特徴を統合することで、ベンチマークデータセットにおける一般化性能と精度が向上するか？
• RQ5 ノイズの多い深度条件下でのモデルの性能はいかにか？また、特徴の適応は耐性を向上させるか？

主な発見

• 提案手法は、RGBD1000データセットでFスコア0.848を達成し、2位の手法より10.7%高い性能を示し、新たな最先端の結果を確立した。
• 低レベルの深度コントラスト特徴の導入により、RGBオンリーモデル（ELD-Net）のFスコア0.725から、RGBD1000で0.821に向上した。
• BED特徴は性能向上に顕著な寄与を示す。RGBD1000でBED特徴を除去すると、Fスコアは0.848から0.841に低下し、背景封鎖のモデル化における有効性が示された。
• よりノイズの多い深度データを有するNJUDS2000データセットでは、スーパーピクセルヒストグラム差分を平均深度に置き換えた（Ours*）ことで、Fスコアが0.817から0.833に向上し、深度品質の低下に対しても耐性があることが示された。
• 再現率を高い水準に維持しながら、精度を向上させ、精度-再現率曲線全体で、ボトムアップおよびトップダウンのRGB-D手法を凌駕した。
• 除去実験により、低レベルの深度コントラスト特徴とミドルレベルのBED特徴が、それぞれ独立して検出性能を向上させ、両者の組み合わせが最良の結果をもたらすことが確認された。