[論文レビュー] Pose Proposal Critic: Robust Pose Refinement by Learning Reprojection Errors

Lucas Brynte, Fredrik Kahl|arXiv (Cornell University)|May 13, 2020

Robot Manipulation and Learning参考文献 30被引用数 6

ひとこと要約

本稿では、部分的遮蔽下での3次元オブジェクトポーズ推定を向上させるために、再投影誤差を予測するためのCNNを訓練することで、明示的なポーズ回帰に依存せずに頑健な最適化を可能にする、Pose Proposal Critic (PPC) と呼ばれる新しいポーズ精錬手法を提案する。PPCは合成データのみで学習された場合でも、Occlusion LINEMODベンチマークで3つの指標のうち2つで最先端性能を達成している。

ABSTRACT

In recent years, considerable progress has been made for the task of rigid object pose estimation from a single RGB-image, but achieving robustness to partial occlusions remains a challenging problem. Pose refinement via rendering has shown promise in order to achieve improved results, in particular, when data is scarce. In this paper we focus our attention on pose refinement, and show how to push the state-of-the-art further in the case of partial occlusions. The proposed pose refinement method leverages on a simplified learning task, where a CNN is trained to estimate the reprojection error between an observed and a rendered image. We experiment by training on purely synthetic data as well as a mixture of synthetic and real data. Current state-of-the-art results are outperformed for two out of three metrics on the Occlusion LINEMOD benchmark, while performing on-par for the final metric.

研究の動機と目的

• RGBのみのポーズ推定における主要な課題である部分的遮蔽下での3次元オブジェクトポーズ推定の頑健性を向上させること。
• 実際のアノテート済み学習データに依存しないポーズ精錬手法を開発することで、データ収集コストを削減すること。
• 直接的なポーズ回帰ではなく、誤差推定に焦点を当てることで、レンダリングベースのポーズ精錬を向上させること。
• 特に困難な遮蔽条件下でも、ベンチマーク指標において最先端の性能を達成すること。

提案手法

• 本手法は、オブジェクトのCADモデルと初期のポーズ提案を入力とし、そのポーズ下でレンダリングされた画像を合成する。
• CNNは、観測画像とポーズ提案下でのレンダリング画像との間の平均再投影誤差を推定するように訓練される。
• ネットワークは完全に合成データ、または合成データと実データの混合データで学習され、ポーズパラメータに対する明示的な教師信号なしに誤差を予測するように学習する。
• 推論時、勾配ベースの最適化を用いて予測された再投影誤差を最小化することで、ポーズを繰り返し精錬する。
• 誤差関数の過大または過小評価に対して頑健であるため、誤差最小化に注目することで、遮蔽を暗黙的に処理する。
• 精錬の前に、PVNetからのポーズ提案に対して負の深度補正を適用して幾何学的整合性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ポーズパラメータへの直接回帰に依存せずに、再投影誤差を予測するためのCNNのみで、頑健なポーズ精錬が達成可能か？
• RQ2 提案手法は、部分的遮蔽下で最先端の手法と比較して、どのように性能を発揮するか？
• RQ3 合成データのみで学習した場合、どの程度一般化性能を発揮するか？
• RQ4 ポーズ回帰ではなく誤差推定を学習することで、遮蔽やノイズの多い予測に対して頑健性が向上するか？

主な発見

• PPCはOcclusion LINEMODベンチマークの3つの指標のうち2つで最先端性能を達成し、猫オブジェクトのadd(-s)-0.1d指標で98.80%を達成した。
• reproj-5px指標では、平均精度89.74%を達成し、PoseCNNおよびPoseCNN+DeepIMを上回った。
• 5cm/5°指標では、平均精度97.60%を達成し、PoseCNN+DeepIM（97.53%）を上回り、最良のベースラインと同等の性能を発揮した。
• 合成データのみで学習した場合でも、最先端の結果を達成しており、実世界の遮蔽状況への一般化能力が強いことが示された。
• 遮蔽状況下でもネットワークの誤差推定は信頼性が保たれ、誤差関数の推定最小値が真値ポーズに近く、遮蔽状況下ではバイアスがあるものの、その影響は限定的であった。