[論文レビュー] Latent-Class Hough Forests for 6 DoF Object Pose Estimation

Rigas Kouskouridas, Alykhan Tejani+3 more|arXiv (Cornell University)|Feb 3, 2016

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、ごみくずや隠蔽状態のシーンにおける6自由度オブジェクトポーズ推定のための新規ワンクラス学習フレームワーク「ラティントクラス・ハフフォレスト」を提案する。スケール不変なテンプレート記述子を回帰フォレストに適応させ、テンプレートに基づく分割関数を導入し、テスト時に潜在的クラス分布を繰り返し推定することで、複数インスタンスのデータセット、特に高精度な検出と隠蔽状態を考慮したセグメンテーションを備えた完全にアノテーションが施されたボックスピッキングベンチマークを含め、最先端の性能を達成した。

ABSTRACT

In this paper we present Latent-Class Hough Forests, a method for object detection and 6 DoF pose estimation in heavily cluttered and occluded scenarios. We adapt a state of the art template matching feature into a scale-invariant patch descriptor and integrate it into a regression forest using a novel template-based split function. We train with positive samples only and we treat class distributions at the leaf nodes as latent variables. During testing we infer by iteratively updating these distributions, providing accurate estimation of background clutter and foreground occlusions and, thus, better detection rate. Furthermore, as a by-product, our Latent-Class Hough Forests can provide accurate occlusion aware segmentation masks, even in the multi-instance scenario. In addition to an existing public dataset, which contains only single-instance sequences with large amounts of clutter, we have collected two, more challenging, datasets for multiple-instance detection containing heavy 2D and 3D clutter as well as foreground occlusions. We provide extensive experiments on the various parameters of the framework such as patch size, number of trees and number of iterations to infer class distributions at test time. We also evaluate the Latent-Class Hough Forests on all datasets where we outperform state of the art methods.

研究の動機と目的

• 複数のオブジェクトインスタンスが存在する現実世界の状況下で、重度にごみくずや隠蔽状態にあるシーンにおける6自由度オブジェクトポーズ推定の課題に対処すること。
• 従来のハフフォレストや回帰フォレストの限界を克服し、負例なしのワンクラス学習を可能にすることで、トレーニングの複雑さを低減すること。
• 推論時にリーフノードにおけるクラス分布を潜在変数としてモデル化することで、背景のごみくずや前景の隠蔽に対してより頑健になるようにすること。
• シーン理解やICPの最適化の応用を可能にする、正確なピxls単位の隠蔽状態を考慮したセグメンテーションマスクを副産物として提供すること。
• 2つの新規で挑戦的な公開データセットである「ドメスティックエナビローメント」と「ボックスピッキング」を構築・公開すること。これらは、重度の2次元および3次元のごみくずと隠蔽状態を伴う複数インスタンスのシナリオを特徴としている。

提案手法

• ランダムフォレストフレームワークで使用可能なスケール不変なパッチ記述子に、LINEMODテンプレートマッチング特徴を適応させる。
• 正例のみを用いた有効な回帰フォレストトレーニングを可能にする、新規のテンプレートに基づく分割関数を導入する。
• 正例のみでフォレストをトレーニングし（ワンクラス学習）、推論時にリーフノードにおけるクラス分布を潜在変数として扱う。
• テスト時に繰り返し推論を実行し、潜在的クラス分布（前面/背景/遮蔽物）を更新することで、ハフ投票マップのノイズを低減し、精度を向上させる。
• クラス確率の繰り返し改善を活用して、3次元オブジェクトポーズと可視性マップ（隠蔽状態を考慮したセグメンテーションマスク）を同時に推定する。
• ハフフォレストフレームワーク内にパッチベースで部品ベースの戦略を導入することで、部分的遮蔽やごみくず状態下でも局所化精度と頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ハフフォレストにおけるワンクラス学習アプローチが、重度のごみくずや隠蔽状態下で、2クラス手法を上回る6自由度ポーズ推定性能を達成できるか？
• RQ2 潜在的クラス分布の繰り返し推論が、ごみくず状態のシーンにおけるポーズ推定精度の向上と誤検出の低減にどの程度有効であるか？
• RQ3 潜在的クラスモデリングを施した回帰フォレストが、複数インスタンスのシナリオにおいて、正確な隠蔽状態を考慮したセグメンテーションマスクを生成できるか？
• RQ4 テンプレートに基づく分割関数を備えたパッチベースのハフフォレストが、重度の遮蔽状態を伴う実世界の産業的シナリオに十分に一般化できるか？
• RQ5 新規で挑戦的なデータセット（複数インスタンス、3次元および2次元のごみくずを含む）において、提案手法は最先端手法を上回る性能を示せるか？

主な発見

• ボックスピッキングデータセットにおいて、10本のツリーと2/3パッチサイズを用いた場合、平均検出精度が90.8%、F1スコアが0.517に達し、Brachmannら[5]のベースライン手法を上回った。
• 10本のツリーと2/3パッチサイズを用いた場合、コーヒーカップでは91.2%の検出精度、F1スコア0.542を達成し、ジュースパックでは90.4%の検出精度、F1スコア0.492を達成した。
• 繰り返し推論プロセスにより、ハフ投票マップとセグメンテーションマスクが著しく改善され、反復処理が進むにつれて背景ピxlsが段階的に抑制された。
• GPUアクセcelerationなしでも、ボックスピッキングデータセットでほぼリアルタイムの性能を達成したため、実用的な展開が可能であることが示された。
• 提案されたラティントクラス・ハフフォレストは、すべての評価済みデータセットで、すべての最先端手法を上回った。Hinterstoisserら[16]の公開データセットに対しても同様に優れた性能を示した。
• 本手法は正確でピxls単位の隠蔽状態を考慮したセグメンテーションマスクを副産物として生成でき、遮蔽状態を考慮したICPやドメイン適応などの後続タスクを可能にした。