[論文レビュー] ACR-Pose: Adversarial Canonical Representation Reconstruction Network for Category Level 6D Object Pose Estimation

Zhaoxin Fan, Zhengbo Song+5 more|arXiv (Cornell University)|Nov 20, 2021

Robot Manipulation and Learning参考文献 54被引用数 8

ひとこと要約

ACR-Pose は、カテゴリレベルの 6D オブジェクトポーズ推定のための敵対的標準表現再構成ネットワークを提案する。Pose-Irrelevant Module を用いてポーズ依存特徴をフィルタリングし、RGB、深度、形状事前情報の間のクロスモダリティ関係を活用するための Relational Reconstruction Module を導入する。敵対的訓練により再構成の現実性と正確性が向上し、NOCS-CAMERA および NOCS-REAL データセットで最先端の性能を達成する。

ABSTRACT

Recently, category-level 6D object pose estimation has achieved significant improvements with the development of reconstructing canonical 3D representations. However, the reconstruction quality of existing methods is still far from excellent. In this paper, we propose a novel Adversarial Canonical Representation Reconstruction Network named ACR-Pose. ACR-Pose consists of a Reconstructor and a Discriminator. The Reconstructor is primarily composed of two novel sub-modules: Pose-Irrelevant Module (PIM) and Relational Reconstruction Module (RRM). PIM tends to learn canonical-related features to make the Reconstructor insensitive to rotation and translation, while RRM explores essential relational information between different input modalities to generate high-quality features. Subsequently, a Discriminator is employed to guide the Reconstructor to generate realistic canonical representations. The Reconstructor and the Discriminator learn to optimize through adversarial training. Experimental results on the prevalent NOCS-CAMERA and NOCS-REAL datasets demonstrate that our method achieves state-of-the-art performance.

研究の動機と目的

• カテゴリレベルの 6D オブジェクトポーズ推定のための標準 3D 表現再構成の品質を向上させること。
• 従来の手法がポーズ関連特徴のフィルタリングに限界を示し、クロスモダリティ間の関係的情報を無視するという問題に対処すること。
• 再構成された標準表現の現実性を向上させ、下流のポーズ推定精度を向上させること。
• 敵対的訓練が 6D ポーズ推定のための標準表現学習に効果的であるかを検証すること。

提案手法

• 再構成器は、回転および平行移動の手がかりを抑制するための Pose-Irrelevant Module (PIM) を用い、標準表現学習に形状不変特徴に焦点を当てる。
• RGB、深度、学習された形状事前情報の間の関係的特徴をモデル化するため、3 種類の異なるグラフベースのメッセージパッシング機構を用いた Relational Reconstruction Module (RRM) を導入する。
• 再構成器は、融合された特徴から形状事前情報の変形を用いて標準表現を再構成する。
• 再構成された標準表現の現実性を強制するために、再構成器と同時に敵対的に訓練されるディスクリミネーターを導入する。
• 最終的な 6D ポーズは、再構成された標準表現とバックプロジェクションされた深度観測を一致させることで Umeyama のアルゴリズムにより推定される。
• 敵対的訓練は学習時のみに適用され、推論を効率化しながら再構成の忠実度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、カテゴリレベルの 6D オブジェクトポーズ推定における標準 3D 表現再構成の現実性と品質を向上させ得るか？
• RQ2 Pose-Irrelevant Module は、ポーズ依存特徴を効果的にフィルタリングし、形状固有の表現学習を向上させるか？
• RQ3 RGB、深度、形状事前情報間の関係的特徴は、再構成性能をどの程度向上させるか？
• RQ4 本手法は、オクルージョンや切断といった実世界の課題に対し、どの程度有効か？

主な発見

• ACR-Pose は、合成データセットの NOCS-CAMERA および実データセットの NOCS-REAL において、カテゴリレベルの 6D オブジェクトポーズ推定で最先端の性能を達成した。
• 除去研究の結果、3 種類の入力モダリティ間でのメッセージパッシングを活用することで、Relational Reconstruction Module の追加が性能向上に寄与していることが示された。
• Pose-Irrelevant Module の導入により、全評価指標が 1% から 3% 向上した。これは回転および平行移動の干渉を効果的にフィルタリングしたためである。
• 敵対的訓練により顕著な性能向上が得られ、より現実的な標準表現が下流のポーズ整合性を向上させることを確認した。
• 失敗事例の主な原因はオブジェクトの切断またはオクルージョンであり、これは厳しい実世界シナリオにおける限界を示している。