[論文レビュー] Unsupervised Object Discovery and Segmentation of RGBD-images

Johan Ekekrantz, Nils Bore+3 more|arXiv (Cornell University)|Oct 18, 2017

Industrial Vision Systems and Defect Detection参考文献 23被引用数 7

ひとこと要約

本稿では、統計的インライアー推定（SIE）アルゴリズムを用いた遮蔽モデルを介して確率的変化検出を活用することで、センサノイズを自動で学習し、動的領域を検出する、教師なしRGBDオブジェクト発見およびセグメンテーションシステムを提案する。本手法は、動的セグメントをフィルタリングし、グラフカット最適化を適用することで、手動で調整されたパrameterを一切用いずに一貫性のあるオブジェクトセグメンテーションを実現し、実世界データセットにおいて最先端の性能を達成する。

ABSTRACT

In this paper we introduce a system for unsupervised object discovery and segmentation of RGBD-images. The system models the sensor noise directly from data, allowing accurate segmentation without sensor specific hand tuning of measurement noise models making use of the recently introduced Statistical Inlier Estimation (SIE) method. Through a fully probabilistic formulation, the system is able to apply probabilistic inference, enabling reliable segmentation in previously challenging scenarios. In addition, we introduce new methods for filtering out false positives, significantly improving the signal to noise ratio. We show that the system significantly outperform state-of-the-art in on a challenging real-world dataset.

研究の動機と目的

• 事前アノテーションやオブジェクト固有の学習を一切用いずに、RGBD画像における未知のオブジェクトの発見とセグメンテーションを実現すること。
• 教師あり手法の限界を克服し、動的で屋内環境における教師なし発見を可能にすること。
• SIEを用いてデータから直接測定不確実性を学習することで、手動で調整されたセンサノイズモデルへの依存を低減すること。
• 人の動きや一時的な要素（ペットや動的オブジェクトなど）による誤検出をフィルタリングすることで、複雑なシーンにおけるセグメンテーションの信頼性を向上させること。
• 複数フレームにわたる可能性の高い表面配置の周辺化を介したエンドツーエンドの確率的推論により、頑健なオブジェクト発見を実現すること。

提案手法

• 統計的インライアー推定（SIE）を用いてセンサノイズをモデル化し、隣接ピクセルが異なる表面に属する確率を、色と深度の残差に基づいて計算する。
• 隣接ピクセル間の色残差 $ R_{\text{C}}(a,b) $ を、RGB値の3次元絶対差として定義し、SIEを用いて $ P(a \neq b | a_{\text{C}} \neq b_{\text{C}}) $ を計算することでエッジの尤度を推定する。
• 深度残差 $ R_{\text{Z}}(a,b) $ を、絶対範囲差と2次スロープ予測誤差の最小値として計算し、予測されたノイズ分散でスケーリングする。
• 色と深度のエッジ確率を $ P(a=b|I) = P(a=b|R_{\text{Z}})P(a=b|R_{\text{C}}) $ を用いて結合し、表面の連続性を推定する。
• 複数フレームにわたる推論を実行可能にするために、グラフカットエネルギー最小化を用いたラジカル最適化を適用し、一貫性のある変化領域をセグメンテーションする。
• 動的領域を「移動中（currently changing）」と「移動後静止（previously changed but now static）」に分類し、「移動中」セグメントをフィルタリングすることで誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 手動で調整されたセンサノイズモデルに依存せずに、完全な確率的定式化がRGBD画像における頑健なオブジェクト発見とセグメンテーションを可能にするか？
• RQ2 SIEは、RGBDデータにおける確率的エッジ検出および変化検出にどの程度適応可能であり、教師なしセグメンテーションを支援できるか？
• RQ3 「移動中」セグメントをフィルタリングすることで、人の動きや環境の動きを伴う実世界の屋内シーンにおけるセグメンテーション精度がどの程度向上するか？
• RQ4 複数フレームにわたる可能性の高い表面配置の周辺化は、推論の安定性とセグメンテーション品質を向上させるか？
• RQ5 本手法は、挑戦的な実世界RGBDデータセットにおいて、定量的に最先端の手法と比較してどの程度優れているか？

主な発見

• 本システムは、挑戦的な実世界RGBDデータセットにおいて、最先端の手法を顕著に上回り、優れたセグメンテーション精度と頑健性を示した。
• SIEを用いたイン・サイトでのセンサノイズモデル化により、センサ固有のパrameter調整の必要がなくなり、異なる撮影条件への一般化性能が向上した。
• 主に人の動き、ペット、動的オブジェクトによって引き起こされる「移動中」セグメントをフィルタリングすることで、誤検出が低減され、オブジェクト検出における信号対ノイズ比が向上した。
• 確率的定式化により、重なったオブジェクトやセンサノイズが存在する複雑なシーンにおいても、エッジ検出およびセグメンテーションの結果を通じて信頼性のある推論が可能であることが検証された。
• マウス、カップ、キーボードなど、以前に見られなかった小さなオブジェクトを効果的にセグメンテーションできており、未知のオブジェクトカテゴリへの強い一般化能力を示した。
• SIEベースの残差モデリングを用いた色と深度のエッジ確率の統合により、従来のエッジ検出手法よりも正確な表面境界検出が可能になった。