[論文レビュー] 6-DoF Object Pose from Semantic Keypoints

Georgios Pavlakos, Xiaowei Zhou+3 more|arXiv (Cornell University)|Mar 14, 2017

Human Pose and Action Recognition参考文献 36被引用数 33

ひとこと要約

本稿では、深層畳み込みニューラルネットワークからのセマンティックキーポイント予測と可変形状モデルを組み合わせることで、1枚のRGB画像から6自由度（6-DoF）のオブジェクトポーズ推定を実現する新規手法を提案する。本手法は、ポーズ最適化中にキーポイントの信頼度をヒートマップ応答で重み付けすることで、PASCAL3D+データセットにおいて最先端の視点推定精度を達成し、推論時間が0.3秒未塔を実現した。

ABSTRACT

This paper presents a novel approach to estimating the continuous six degree of freedom (6-DoF) pose (3D translation and rotation) of an object from a single RGB image. The approach combines semantic keypoints predicted by a convolutional network (convnet) with a deformable shape model. Unlike prior work, we are agnostic to whether the object is textured or textureless, as the convnet learns the optimal representation from the available training image data. Furthermore, the approach can be applied to instance- and class-based pose recovery. Empirically, we show that the proposed approach can accurately recover the 6-DoF object pose for both instance- and class-based scenarios with a cluttered background. For class-based object pose estimation, state-of-the-art accuracy is shown on the large-scale PASCAL3D+ dataset.

研究の動機と目的

• 複雑なシーンにおけるテクスチャあり・なしの両方のオブジェクトに対して6-DoFオブジェクトポーズ推定の課題に取り組む。
• テクスチャや特定のオブジェクトインスタンスに依存せずに、多様なオブジェクトカテゴリにわたるロバストなポーズ推定を可能にする。
• インスタンスベースとクラスベースの両方のポーズ回復シナリオに適用可能な統合フレームワークを開発する。
• キーポイント位置特定の誤差に対して耐性を高めるために、ポーズ最適化にヒートマップの信頼度を組み込む。
• ロボット工学やインタラクティブアプリケーションに適したリアルタイム性能を達成する。

提案手法

• 1枚のRGB画像からクラス固有のセマンティックキーポイントをヒートマップとして予測するスタックドアワーゲイズ畳み込みネットワークを活用する。
• PCAベースまたはCADモデルでパrameter化された可変3次元形状モデルを用いて、オブジェクト形状のばらつきをモデル化する。
• 2次元で検出されたキーポイントと3次元形状モデルとの間の幾何的整合性最適化としてポーズ推定を定式化する。
• 誤検出の影響を軽減するために、最適化にヒートマップ応答値を信頼度重みとして組み込む。
• ポーズフィッティングに弱い透視法と完全な透視法の両方のカメラモデルをサポートする。
• 対応する点群が利用可能な場合、予測されたポーズを初期化としてICPを用いて精緻化する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースのキーポイント検出器と可変形状モデルを組み合わせることで、テクスチャあり・なしの両方のオブジェクトに対して正確な6-DoFポーズ推定が可能か？
• RQ2 ヒートマップの信頼度を統合することで、キーポイント位置特定の誤差に対するロバスト性がどのように向上するか？
• RQ3 インスタンス固有のモデルを必要とせずに、オブジェクトクラス全体に一般化可能か？
• RQ4 PASCAL3D+のような大規模ベンチマークにおいて、最先端の手法と比較して本手法の性能はいかがなものか？
• RQ5 本手法は、ロボット工学やビジョンシステムにおけるリアルタイム応用にどの程度スケーラブルか？

主な発見

• 提案手法は、10種類のオブジェクトカテゴリにおいてPASCAL3D+で最先端の中央値回転誤差を達成し、CADベースの形状モデリングを用いると、aeroで8.0°、bikeで13.4°、busで2.0°を記録した。
• 均一な重み付けベースライン（aeroで16.3°、carで30.7°）と比較して顕著に優れた性能を示し、信頼度重み付けの重要性を裏付けた。
• TVモニターやボートの失敗事例は、それぞれ同一平面上にあるキーポイント（不適切な問題）と、小さなオブジェクトサイズに起因する前後方向の曖昧さが原因である。
• 標準デスクトップ（i7 CPU、GTX Titan X GPU）上では0.3秒未満で実行可能で、キーポイント予測に0.2秒、ポーズフィッティングに0.1秒未塔を要した。
• クラスベースのポーズ推定に対しても良好な一般化性能を示し、クラス内変動や視点の多様性が著しい状況でも高い精度を達成した。
• ヒートマップ応答を信頼度指標として用いることで、誤検出の多い複雑なシーンでもロバスト性が向上した。