[論文レビュー] Single-Stage 6D Object Pose Estimation

Yinlin Hu, Pascal Fua+2 more|arXiv (Cornell University)|Nov 19, 2019

Robot Manipulation and Learning参考文献 56被引用数 4

ひとこと要約

本論文は、3次元から2次元のキーポoin対応関係から直接6次元のポーズを回帰する1段階の6次元オブジェクトポーズ推定フレームワークを提案する。深層ネットワークは、対応グループ内の順列不変性を処理しつつも、キーポイントの順序を保持するように設計されており、従来のRANSACベースのPnP手順を、エンド・ツー・エンドで微分可能なネットワークに置き換えることで、2段階のベースラインよりも高い精度と速度を達成している。LINEMODおよびYCB-Videoベンチマークにおいて、PoseCNN、SegDriven、PVNetなどの最先端モデルを上回っている。

ABSTRACT

Most recent 6D pose estimation frameworks first rely on a deep network to establish correspondences between 3D object keypoints and 2D image locations and then use a variant of a RANSAC-based Perspective-n-Point (PnP) algorithm. This two-stage process, however, is suboptimal: First, it is not end-to-end trainable. Second, training the deep network relies on a surrogate loss that does not directly reflect the final 6D pose estimation task. In this work, we introduce a deep architecture that directly regresses 6D poses from correspondences. It takes as input a group of candidate correspondences for each 3D keypoint and accounts for the fact that the order of the correspondences within each group is irrelevant, while the order of the groups, that is, of the 3D keypoints, is fixed. Our architecture is generic and can thus be exploited in conjunction with existing correspondence-extraction networks so as to yield single-stage 6D pose estimation frameworks. Our experiments demonstrate that these single-stage frameworks consistently outperform their two-stage counterparts in terms of both accuracy and speed.

研究の動機と目的

• RANSACベースのPnP手順を採用する2段階の6次元ポーズ推定パイプラインが、訓練の最適化が不十分でエンド・ツー・エンドではないという問題に対処する。
• 最終的なポーズ精度を直接最適化しない代わりに、2次元再投影誤差などの代替損失関数に依存する問題を排除する。
• 3次元から2次元の対応関係を直接6次元ポーズにマッピングする、微分可能でエンド・ツー・エンドで学習可能なアーキテクチャを開発する。これにより、精度と推論速度の両方を向上させる。
• 既存の対応抽出ネットワークと組み合わせた場合の、提案されたポーズ回帰ネットワークの汎用性と有効性を示す。

提案手法

• 本手法は、候補となる3次元から2次元の対応関係のグループを入力とする深層ニューラルネットワークを導入する。各グループは1つの3次元キーポイントに対応する。
• ネットワークは、各対応グループ内での順列不変性（すなわち、1つの3次元キーポイントに対応する対応の順序が出力に影響しないこと）を明示的にモデル化するが、3次元キーポイントの順序に対応するグループの順序は固定されたまま保持する。
• 従来のRANSACベースのPnPアルゴリズムの代わりに、入力の対応関係から直接6次元ポーズを回帰する、学習可能で微分可能なモジュールを導入する。
• アーキテクチャは汎用的であり、最新の対応抽出ネットワークとシームレスに統合可能で、エンド・ツー・エンドの学習を可能にする。
• ネットワークはAdamを用いた標準的な最適化、データオーグメンテーション、および合成データと実データの両方で3次元および2次元ポーズ誤差（ADDおよびREP）を最小化する損失関数を用いて学習される。
• 本手法は、LINEMODおよびYCB-Videoデータセット上で、標準的な指標（ADD-0.1dおよびREP-5px）を用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 エンド・ツー・エンドで学習可能な形で、3次元から2次元の対応関係から直接6次元ポーズを回帰できる深層ネットワークを設計できるか？ これにより、RANSACベースのPnPの必要性を回避できるか？
• RQ2 RANSAC手順を学習可能で微分可能なモジュールに置き換えることで、2段階フレームワークと比較してポーズ推定の精度と推論速度が向上するか？
• RQ3 提案されたポーズ回帰ネットワークは、SegDriven や PVNet などの異なる対応抽出ネットワークに対しても汎用的に適用可能か？
• RQ4 遮蔽やごみがある状況下でも、1段階フレームワークは最先端の2段階手法と比較して、精度と実行時間の両面で優れているか？

主な発見

• SegDriven や PVNet を用いた対応関係予測と組み合わせた1段階フレームワークは、LINEMODデータセット上で、元の2段階バージョンよりも一貫した精度の向上を達成した。
• LINEMODでは、PVNetと組み合わせた場合、ADD-0.1dが95.3%、REP-5pxが98.7%を達成し、2段階のPVNetベースラインを上回った。
• YCB-Videoでは、ADD-0.1dが89.2%、REP-5pxが94.1%を達成し、PoseCNN、SegDriven、PVNetの両方の精度と速度を上回った。
• 反復的なRANSACの削除により、PoseCNNの約10倍、SegDriven や PVNet のほぼ2倍の高速化が達成された。
• 入力の対応の順序に敏感でないため、RANSACに比べて再現性が向上した。元のPnP手順とは異なり、入力の順序に依存しない。
• 改善は見られたが、非常に正確な対応関係が与えられた場合、学習されたポーズネットワークは従来の幾何学的PnPよりも精度が低いことが示され、理想状態での性能ギャップが確認された。