[論文レビュー] Estimating 6D Pose From Localizing Designated Surface Keypoints

Zelin Zhao, Peng Gao+4 more|arXiv (Cornell University)|Dec 4, 2018

Robotics and Sensor-Based Localization参考文献 29被引用数 24

ひとこと要約

本論文は、ヒートマップベースのキーポoin検出器を用いて3次元表面キーポイントを局所化し、PnPを用いてポーズを回復する、RGBのみを用いた新規な6次元オブジェクトポーズ推定手法を提案する。後処理の精練を一切用いず、最先端の精度を達成しており、非精錬手法と比較してADD精度を30%向上させ、信頼性の高いキーポイント選択によりオクルージョンに対して高いロバスト性を示している。

ABSTRACT

In this paper, we present an accurate yet effective solution for 6D pose estimation from an RGB image. The core of our approach is that we first designate a set of surface points on target object model as keypoints and then train a keypoint detector (KPD) to localize them. Finally a PnP algorithm can recover the 6D pose according to the 2D-3D relationship of keypoints. Different from recent state-of-the-art CNN-based approaches that rely on a time-consuming post-processing procedure, our method can achieve competitive accuracy without any refinement after pose prediction. Meanwhile, we obtain a 30% relative improvement in terms of ADD accuracy among methods without using refinement. Moreover, we succeed in handling heavy occlusion by selecting the most confident keypoints to recover the 6D pose. For the sake of reproducibility, we will make our code and models publicly available soon.

研究の動機と目的

• 深度センサーや後処理の精錬ステップに依存しない高速で高精度な6次元ポーズ推定手法の開発。
• 信頼性の高いキーポイント予測を活用して部分的オクルージョンに対するロバスト性の向上。
• 視点予測やバウンディングボックスコーナーを用いるのと比較して、表面キーポイントの局所化がより効果的であることを示すこと。
• 3次元SIFT点を用いてキーポイント検出器を学習させることで、RGB画像からの6次元ポーズのエンドツーエンド学習を可能にすること。

提案手法

• 3次元SIFTを用いてオブジェクトモデル上に3次元表面キーポイントを指定し、特徴表現を向上させる。
• RGB画像内のオブジェクトを局所化するため、YOLOv3オブジェクト検出器を訓練する。
• ヒートマップベースのキーポイント検出器（KPD）を採用し、検出されたオブジェクトから2次元キーポイント座標を回帰する。
• 2次元-3次元キーポイント対応関係からPnP（Perspective-n-Point）アルゴリズムを用いて6次元ポーズを計算する。
• 信頼度に基づく選択戦略を適用し、最も信頼度の高い上位-k個のキーポイントのみを用いることで、オクルージョン下でのロバスト性を向上させる。
• エンドツーエンド学習により、画像に表示されていない背面キーポイントでさえも、正確に推定できるようにする。

実験結果

リサーチクエスチョン

• RQ1 深度データや精錬段階に依存せずに、高速かつ高精度な6次元ポーズ推定が可能か？
• RQ2 バウンディングボックスコーナーや予測された視点と比較して、表面キーポイントの局所化がより高い精度をもたらすか？
• RQ3 信頼度の高いキーポイントのみを選択することで、キーポイントベースのアプローチが重度のオクルージョン下でも高い精度を維持できるか？
• RQ4 CNNが1枚のRGB画像から、見えない背面キーポイントを予測することが可能か？

主な発見

• 本手法は、LineModデータセットにおいて、非精錬SOTA手法と比較して、ADD精度を相対的に30%向上させた。
• 2次元投影精度において、最良の非精錬手法[27]を上回り、精錬を用いる手法と競争力のある結果を達成した。
• 後処理ステップを排除したことで、精錬を伴う手法と比較して著しく高速である。
• 上位10個の信頼度の高いキーポイントを選択すると、全50個の予測キーポイントを使用する場合よりも高いポーズ精度を達成しており、信頼度フィルタリングの有効性を示している。
• エンドツーエンド学習のおかげで、入力画像に表示されていない背面キーポイントを高精度に推定することができた。
• バウンディングボックスコーナーや中心点と比較して、3次元SIFT表面点をキーポイントとして用いることで、顕著に高い性能を発揮した。これは、特徴豊富なキーポイント選択の利点を確認するものである。