[論文レビュー] Category Level Object Pose Estimation via Neural Analysis-by-Synthesis

Chen Xu, Zijian Dong+3 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Vision and Imaging参考文献 57被引用数 3

ひとこと要約

本稿では、個々のインスタンス用のCADモデルを必要としないカテゴリーレベル6DoFオブジェクトポーズ推定のためのニューラルアナリシス・バイ・シンセシスフレームワークを提案する。ポーズ、形状、外観のコードを条件として画像を生成する微分可能ニューラル画像合成ネットワークを訓練することで、知覚的損失を介した勾配ベース最適化が可能となり、RGBのみおよびRGB-Dベンチマークで最先端の精度を達成した。

ABSTRACT

Many object pose estimation algorithms rely on the analysis-by-synthesis framework which requires explicit representations of individual object instances. In this paper we combine a gradient-based fitting procedure with a parametric neural image synthesis module that is capable of implicitly representing the appearance, shape and pose of entire object categories, thus rendering the need for explicit CAD models per object instance unnecessary. The image synthesis network is designed to efficiently span the pose configuration space so that model capacity can be used to capture the shape and local appearance (i.e., texture) variations jointly. At inference time the synthesized images are compared to the target via an appearance based loss and the error signal is backpropagated through the network to the input parameters. Keeping the network parameters fixed, this allows for iterative optimization of the object pose, shape and appearance in a joint manner and we experimentally show that the method can recover orientation of objects with high accuracy from 2D images alone. When provided with depth measurements, to overcome scale ambiguities, the method can accurately recover the full 6DOF pose successfully.

研究の動機と目的

• 各オブジェクトインスタンス用に明示的な3次元CADモデルを必要とする従来の6DoFポーズ推定手法の制限を解消すること。
• テスト時における個々のインスタンス用モデルへのアクセスなしに、単一のRGBまたはRGB-D画像のみを用いて正確なカテゴリーレベルのポーズ推定を可能にすること。
• オブジェクトカテゴリ全体における形状、外観、ポーズの変動を暗黙的に表現できるニューラル画像合成モジュールの開発。
• ニューラル合成モジュールを勾配ベース最適化フレームワークに統合し、ポーズ、形状、外観パラメータを同時に回復すること。
• トレーニング中にデータ拡張を一切行わずに、照明、遮蔽、検出エラーなどのドメインシフト要因に対しても頑健であることを示すこと。

提案手法

• 3次元ポーズ、形状コード、外観コードを条件としてオブジェクトカテゴリの2次元画像を合成する深層ニューラルネットワークを訓練する。
• 3次元ボクセルボリュームを用いた3次元条件付きVAEを用い、ポーズ空間を連続的かつ効率的に走査可能にする。
• 入力画像からエンコーダーネットワークを用いて抽出された学習済み潜在コードを画像生成に条件付けする。
• 固定されたネットワークを通じて知覚的損失の勾配を逆伝播させ、ポーズ、形状、外観パラメータを反復的に最適化する。
• 事前学習済みVGGネットワークの特徴量に基づく知覚的損失を用い、ピクセル単位の類似性よりも意味的整合性を促進する。
• RGB-D設定では深度測定値を統合し、RGBのみ推定に内在するスケールの曖昧さを解消し、完全な6DoFポーズ（3次元並進と3次元回転）を回復する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル画像合成モジュールは、明示的なCADモデルを不要としながら、形状・外観・ポーズの同時変動を暗黙的に表現できるか？
• RQ2 微分可能ニューラルレンダラを介した勾配ベース最適化により、単一のRGBまたはRGB-D画像からの正確な6DoFポーズ推定が可能か？
• RQ3 ポーズ精度と頑健性の観点で、最先端のRGBのみおよびRGB-Dベースラインと比較して、本手法はどのように性能を発揮するか？
• RQ4 照明、遮蔽、検出エラーなどのドメインシフト要因に対して、未学習のオブジェクトインスタンスや環境へどの程度一般化できるか？
• RQ5 異なる損失関数（例：知覚的損失、L1、L2、SSIM）および正則化が、最適化の安定性と最終的なポーズ精度に与える影響はいかほどか？

主な発見

• RGB入力のみでYCBデータセットにおいて97.1%のAP60を達成し、一部の状況では強力なRGB-Dベースラインを上回った。
• RGB-D入力では、スケールの曖昧さを解消し、完全な6DoFポーズを正確に回復できた。
• 知覚的損失はL1、L2、SSIM損失を上回り、意味的整合性が優れているため、最高のAP60（97.1%）と最小の回転誤差を達成した。
• アブレーションスタディの結果、VAEまたは3次元ボリュームを削除すると、新しいサンプルの生成に失敗するか、ポーズ精度が著しく低下し、これらが不可欠であることが示された。
• データ拡張なしでも、照明、遮蔽、検出エラーなどのドメインシフトに対して低誤差を維持し、優れた一般化性能を示した。
• 形状と外観の生成的モデリングのおかげで、特に困難な条件下でも判別的ポーズ回帰ベースラインを著しく上回った。