[論文レビュー] RePOSE: Real-Time Iterative Rendering and Refinement for 6D Object Pose Estimation.

Shun Iwase, Xingyu Liu+3 more|arXiv (Cornell University)|Apr 1, 2021

Human Pose and Action Recognition被引用数 8

ひとこと要約

RePOSEは、浅いMLPを用いてオブジェクトの幾何学とポーズから直接深層特徴画像をレンダリングすることで、コストの高いCNN推論を回避し、反復的ポーズ精錬を高速化するリアルタイム6次元オブジェクトポーズ推定手法を提案する。Occlusion LineMODデータセットにおいて71 FPSおよび51.6%の精度を達成し、先行手法に比べ4.1%の絶対的向上を示した。

ABSTRACT

The use of iterative pose refinement is a critical processing step for 6D object pose estimation, and its performance depends greatly on one's choice of image representation. Image representations learned via deep convolutional neural networks (CNN) are currently the method of choice as they are able to robustly encode object keypoint locations. However, CNN-based image representations are computational expensive to use for iterative pose refinement, as they require that image features are extracted using a deep network, once for the input image and multiple times for rendered images during the refinement process. Instead of using a CNN to extract image features from a rendered RGB image, we propose to directly render a deep feature image. We call this deep texture rendering, where a shallow multi-layer perceptron is used to directly regress a view invariant image representation of an object. Using an estimate of the pose and deep texture rendering, our system can render an image representation in under 1ms. This image representation is optimized such that it makes it easier to perform nonlinear 6D pose estimation by adding a differentiable Levenberg-Marquardt optimization network and back-propagating the 6D pose alignment error. We call our method, RePOSE, a Real-time Iterative Rendering and Refinement algorithm for 6D POSE estimation. RePOSE runs at 71 FPS and achieves state-of-the-art accuracy of 51.6% on the Occlusion LineMOD dataset - a 4.1% absolute improvement over the prior art, and comparable performance on the YCB-Video dataset with a much faster runtime than the other pose refinement methods.

研究の動機と目的

• CNNベースの特徴抽出における計算ボトルネックを解消すること。
• 精度を損なわずリアルタイムな6次元ポーズ推定を実現すること。
• 素早くレンダリング可能で、エンドツーエンド最適化が可能な視点不変の画像表現を構築すること。
• 微分可能最適化をレンダリングパイプラインに統合し、直接6次元ポーズ精錬を可能とすること。

提案手法

• オブジェクトの幾何学とポーズから直接深層特徴画像を回帰するため、CNNベースの特徴抽出を浅い多層パーセプトロンに置き換える。
• 深層テクスチャレンダリングを用いて1回のレンダリングあたり1ms未塔で、視点不変の画像表現を生成する。
• 6次元ポーズ整合性誤差をバックプロパゲートするために、微分可能Levenberg-Marquardt最適化ネットワークを統合する。
• レンダリングされた特徴と真値のキーポイント位置との差を最小化することで、ポーズ推定を最適化する。
• エンドツーエンドのポーズ精錬プロセスのトレーニングを可能にする、微分可能なレンダリングパイプラインを採用する。
• 1イテレーションあたり1回の順伝播のみを実行し、レンダリング画像に対する繰り返しCNN推論を回避する。

実験結果

リサーチクエスチョン

• RQ1 反復的6次元ポーズ精錬におけるCNNの特徴抽出を、精度を維持したまま軽量なニューラルネットワークで置き換えられるか？
• RQ2 深層特徴の直接レンダリングが6次元ポーズ推定におけるリアルタイム性能を実現できるか？
• RQ3 微分可能なレンダリングパイプラインを介したポーズの微分可能最適化は、収束性と精度をどのように向上させるか？
• RQ4 CNNベースの特徴から学習されたテクスチャレンダリングに置き換えた際の、速度と精度のトレードオフは何か？
• RQ5 提案手法はOcclusion LineMODやYCB-Videoといった困難なベンチマークにも一般化可能か？

主な発見

• RePOSEは71 FPSの推論速度を達成し、リアルタイム6次元ポーズ推定を実現した。
• Occlusion LineMODデータセットにおいて51.6%の精度を達成し、先行SOTA手法に比べ4.1%の絶対的向上を示した。
• YCB-Videoデータセットにおいても競争力ある性能を維持しながら、他の精錬ベースアプローチに比べて著しく高速な実行時間を達成した。
• 直接的な深層テクスチャレンダリングの採用により、1イテレーションあたりの推論時間を1ms未塔に短縮し、繰り返しCNN推論の必要性を排除した。
• 微分可能な最適化パイプラインにより、バックプロパゲートされた整合性誤差を通じて、6次元ポーズ推定の効果的かつエンドツーエンドの精錬が可能となった。
• 標準ベンチマークでの検証を通じて、遮蔽あり・なしの両状況において強力な一般化性能を示した。