[論文レビュー] Scene-level Pose Estimation for Multiple Instances of Densely Packed Objects

Chaitanya Mitash, Bowen Wen+2 more|arXiv (Cornell University)|Jan 1, 2019

Robot Manipulation and Learning被引用数 11

ひとこと要約

本稿では、RGB-Dデータからの複数の密に詰められた物体のロバストで連携された6次元ポーズ推定のため、自己教師ありでシミュレーションベースの手法を提案する。合成データを用いた敵対的訓練により、セマンティックおよびインスタンスセグメンテーションを学習し、確率的検出器からポーズ候補を抽出し、表面および境界の整合性に基づいて勾配ブースティング木を用いて候補をスコア化する。最終的なポーズは整数線形計画法により選択され、実世界のアノテーションを一切用いずに、最先端の精度を達成する。

ABSTRACT

This paper introduces key machine learning operations that allow the realization of robust, joint 6D pose estimation of multiple instances of objects either densely packed or in unstructured piles from RGB-D data. The first objective is to learn semantic and instance-boundary detectors without manual labeling. An adversarial training framework in conjunction with physics-based simulation is used to achieve detectors that behave similarly in synthetic and real data. Given the stochastic output of such detectors, candidates for object poses are sampled. The second objective is to automatically learn a single score for each pose candidate that represents its quality in terms of explaining the entire scene via a gradient boosted tree. The proposed method uses features derived from surface and boundary alignment between the observed scene and the object model placed at hypothesized poses. Scene-level, multi-instance pose estimation is then achieved by an integer linear programming process that selects hypotheses that maximize the sum of the learned individual scores, while respecting constraints, such as avoiding collisions. To evaluate this method, a dataset of densely packed objects with challenging setups for state-of-the-art approaches is collected. Experiments on this dataset and a public one show that the method significantly outperforms alternatives in terms of 6D pose accuracy while trained only with synthetic datasets.

研究の動機と目的

• クリアなシーンにおける複数の密に詰められた物体の正確な連携6次元ポーズ推定を、手動によるインスタンスレベルのアノテーションなしに実現すること。
• 物理ベースのシミュレーションにおける敵対的訓練を用いて、合成データと現実世界データの間のドメインギャップを、物体検出およびインスタンスセグメンテーションの面で埋めること。
• 観測されたシーンと仮定された物体配置との間の幾何的整合性特徴に基づいて、勾配ブースティング木を用いて自動的にポーズ候補をスコア化すること。
• 衝突を避ける制約を満たしながら合計スコアを最大化するように、整数線形計画法を用いて複数の物体ポーズを同時に最適化すること。
• 新たに収集した、密に詰められた物体の挑戦的データセットおよび公開ベンチマークを用いて、合成データからの強い一般化性能を評価すること。

提案手法

• 敵対的訓練フレームワークを用いて、合成データと実世界データの分布を、セマンティックおよびインスタンス境界検出において一致させ、実世界シーンへのゼロショット一般化を可能にする。
• 確率的物体検出器の出力を用いて、シーン内に検出された各物体インスタンスについて複数の6次元ポーズ仮説をサンプリングする。
• 観測されたシーンと、仮定されたポーズにおける物体モデルとの間の表面および境界の整合性を測る特徴に基づき、勾配ブースティング木が各ポーズ候補に対して1つの品質スコアを学習する。
• 整数線形計画法が、すべてのインスタンスにおける学習済みスコアの合計を最大化するように、衝突のない最適なポーズ集合を選択する。
• パイプライン全体が、物理ベースのシミュレーションによって生成された合成RGB-Dデータのみを用いて訓練され、実世界のアノテーションの必要性が排除される。
• 予測されたシーン構造と観測されたシーン構造との幾何的整合性を活用することで、重なり合う複雑な配置においても、ロバスト性が向上する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり手法が、合成データのみを用いて、複数の密に詰められた物体の高精度6次元ポーズ推定を達成できるか？
• RQ2 複雑なシーンにおけるインスタンスレベル検出において、敵対的ドメイン適応が合成データと実世界データの分布をどれほど効果的に一致させられるか？
• RQ3 幾何的整合性特徴に基づく学習済みスコア関数は、重なり合う複雑なシーンにおけるポーズ候補の順序付けを信頼性高く行えるか？
• RQ4 衝突制約を伴う整数線形計画法は、独立して選択する場合と比較して、最終的なポーズ精度をどの程度向上させるか？
• RQ5 最先端のアプローチと比較して、本手法は実世界の非構造的で不規則な物体の山に対して、どの程度一般化性能を示すか？

主な発見

• 本手法は、新たに収集した密な詰め込みデータセットおよび公開ベンチマークの両方で、最先端の6次元ポーズ推定精度を達成し、既存手法を上回る。
• 実世界のシーンに、合成データのみで訓練されたにもかかわらず、効果的に一般化でき、強力なゼロショットドメイン一般化性能を示している。
• 物理ベースのシミュレーションを用いた敵対的訓練により、インスタンスセグメンテーションおよび検出において、合成データと実世界データの間のドメインギャップが顕著に低減された。
• 勾配ブースティング木によるスコアリング機構は、観測されたシーンと予測されたシーン構造との幾何的整合性を測ることで、高品質なポーズ候補を的確に特定している。
• 衝突制約を伴う整数線形計画法は、重なり合う物体の仮説同士の矛盾を解消することで、最終的なポーズ精度を著しく向上させた。
• 最先端の手法が著しく劣化または失敗するような、極めて複雑で密に詰められたシーンにおいても、本手法は高い性能を発揮している。