[論文レビュー] Segmentation-driven 6D Object Pose Estimation

Yinlin Hu, Joachim Hugonot+2 more|arXiv (Cornell University)|Dec 6, 2018

Robotics and Sensor-Based Localization参考文献 47被引用数 9

ひとこと要約

本稿では、局所的オブジェクト部品の2次元キーポイント位置とセグメンテーションマスクを予測し、RANSACベースのPnPを用いて信頼性の高い予測を統合することで、オクルージョンに対する耐性を向上させるセグメンテーション駆動型6次元オブジェクトポーズ推定フレームワークを提案する。本手法は、Occluded-LINEMODおよびYCB-Videoで最先端の手法を上回り、同時にセグメンテーションと局所的ポーズ推定を共同で学習することで、標準ハードウェアでもリアルタイム推論を達成する。

ABSTRACT

The most recent trend in estimating the 6D pose of rigid objects has been to train deep networks to either directly regress the pose from the image or to predict the 2D locations of 3D keypoints, from which the pose can be obtained using a PnP algorithm. In both cases, the object is treated as a global entity, and a single pose estimate is computed. As a consequence, the resulting techniques can be vulnerable to large occlusions. In this paper, we introduce a segmentation-driven 6D pose estimation framework where each visible part of the objects contributes a local pose prediction in the form of 2D keypoint locations. We then use a predicted measure of confidence to combine these pose candidates into a robust set of 3D-to-2D correspondences, from which a reliable pose estimate can be obtained. We outperform the state-of-the-art on the challenging Occluded-LINEMOD and YCB-Video datasets, which is evidence that our approach deals well with multiple poorly-textured objects occluding each other. Furthermore, it relies on a simple enough architecture to achieve real-time performance.

研究の動機と目的

• 6次元オブジェクトポーズ推定における大規模なオクルージョンやごみだらけのシーンに対するグローバルポーズ推定の脆弱性に対処すること。
• 単一のポーズ回帰やキーポイント検出の限界を克服し、グローバルオブジェクトレベルの推論ではなく、局所的部品レベルの予測を活用すること。
• エンドツーエンドで学習可能でリアルタイム推論が可能なアーキテクチャにおいて、インスタンスセグメンテーションと6次元ポーズ推定を同時に実行すること。
• 複数の滑らかでテクスチャのないオクルーダー物体が存在する状況での耐性を高めるために、信頼度重み付きの局所的ポーズ候補を組み合わせること。
• 従来のディープラーニングベースのポーズ推定手法で一般的に必要な後処理の最適化ステップを不要にする。

提案手法

• 共有エンコーダと、セグメンテーションと2次元キーポイント回帰のための別々のデコーダを備えた二重ストリーム畳み込みニューラルネットワークを用いる。
• 入力画像上のS×Sグリッドの各グリッド位置で、2次元キーポイント位置とオブジェクト部品のセグメンテーションマスクを予測する。
• 各予測された2次元キーポイントに信頼度スコアを割り当て、局所的予測の信頼性を評価する。
• 全可視オブジェクト部品における各3次元キーポイントの最も信頼度の高い2次元投影を統合し、頑健な3次元対2次元対応関係を形成する。
• 統合された対応関係から、RANSACベースのPnPアルゴリズムを用いて、一意で信頼性の高い6次元ポーズ推定値を計算する。
• セグメンテーションの交差エントロピーとキーポイント回帰損失を組み合わせたマルチタスク損失を用いて、ネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 グローバルオブジェクトレベルのポーズ推定と比較して、局所的部品レベルのポーズ予測はオクルージョンに対する耐性を向上させるか？
• RQ2 信頼度スコアを用いて複数の局所的ポーズ候補を統合することで、ごみだらけやオクルージョンのあるシーンにおけるポーズ精度は向上するか？
• RQ3 軽量なアーキテクチャを用いて、セグメンテーションとポーズ推定を同時に実現できるか？ また、リアルタイム推論が可能か？
• RQ4 提案手法は、困難なオクルージョンデータセットにおいて、最先端のグローバル回帰およびキーポイント検出アプローチをどの程度上回るか？
• RQ5 局所的予測の統合により、6次元ポーズ推定における後処理の最適化ステップの必要性を排除できるか？

主な発見

• YCB-Videoデータセットにおいて、特徴マッピングを用いない状態で、PoseCNNおよびHeatmapsを上回る平均6次元ポーズ精度を達成した。
• Occluded-LINEMODベンチマークでは、特に重度のオクルージョン下でも最先端の性能を発揮した。
• PoseCNNやHeatmapsよりも5倍以上高速に動作し、標準ハードウェアでもリアルタイム推論を実現した。
• 定性的な結果から、オブジェクトが重度にオクルードされている場合でも、本手法は正確なポーズ推定を生成する一方、PoseCNNは背景や隣接オブジェクトの影響を受けて失敗することがわかった。
• グローバル受容場の利点を考慮すると、3次元コーナーを予測するために適応されたMask R-CNN や CPM よりも本手法が優れた性能を示した。これは、グローバル受容場よりも局所的推論の利点が顕著であることを示している。
• 強力な結果を示したが、各3次元キーポイントに対して最良のキーポイント予測を選択するオラクルと比較すると、信頼度スコアと統合戦略の改善の余地があることが示された。