[論文レビュー] Unseen Object 6D Pose Estimation: A Benchmark and Baselines

Minghao Gou, Haolin Pan+4 more|arXiv (Cornell University)|Jun 23, 2022

Robot Manipulation and Learning被引用数 9

ひとこと要約

本論文は、再訓練を伴わずにメッシュモデルのみを用いて未知のオブジェクトの6次元姿勢を予測する必要がある、未知のオブジェクト6次元姿勢推定のための新しいベンチマークとベースラインを導入する。2段階の手法を提案し、まずエンドツーエンドの3次元対応点ネットワークを用いて、未知のオブジェクトと部分的なRGBDシーン間の密集した対応点を検出する。その後、ロバストな姿勢推定を実行する。この手法は、ポーズの曖昧性に依存しない新しいIADD指標を用いて、異なるテストサブセットでベースライン比それぞれ20.3、14.9、9.7のAUC向上を達成した。

ABSTRACT

Estimating the 6D pose for unseen objects is in great demand for many real-world applications. However, current state-of-the-art pose estimation methods can only handle objects that are previously trained. In this paper, we propose a new task that enables and facilitates algorithms to estimate the 6D pose estimation of novel objects during testing. We collect a dataset with both real and synthetic images and up to 48 unseen objects in the test set. In the mean while, we propose a new metric named Infimum ADD (IADD) which is an invariant measurement for objects with different types of pose ambiguity. A two-stage baseline solution for this task is also provided. By training an end-to-end 3D correspondences network, our method finds corresponding points between an unseen object and a partial view RGBD image accurately and efficiently. It then calculates the 6D pose from the correspondences using an algorithm robust to object symmetry. Extensive experiments show that our method outperforms several intuitive baselines and thus verify its effectiveness. All the data, code and models will be made publicly available. Project page: www.graspnet.net/unseen6d

研究の動機と目的

• トレーニング中に見られなかったオブジェクトの6次元姿勢推定を可能にし、現在の手法が各新しいオブジェクトに対して再訓練を必要としているという制限を克服すること。
• 実世界のテストシーンと合成データを含む、現実的で標準化された評価を可能にする、48個の未知のオブジェクトを含むベンチマークの構築。
• ポーズの曖昧性に依存しない新しい評価指標であるInfimum ADD（IADD）を提案し、対称性の異なるオブジェクト間での公平な比較を可能にすること。
• 研究を促進するため、公開可能なデータセット、コード、モデルを提供すること。

提案手法

• 2段階のフレームワークを提案：まず、未知のオブジェクトのメッシュと部分的なRGBDシーンの点群を入力として受け取り、3次元対応点を予測する3次元対応点検出ネットワークを実装。
• オブジェクトのセグメンテーションとオブジェクトとシーン間の対応点を同時に予測するため、マルチタスク損失を用いてエンドツーエンドで訓練。
• 2段階目では、EPOSにインspiredされたロバストなアルゴリズムを用いて、検出された3次元対応点から6次元姿勢を計算し、対称性の影響を効果的に処理。
• ノイズや部分観測下でも対応点マッチングを向上させるために、空間的ポイントネットワーク（SPN）に学習可能なアテンションメカニズムを活用。
• 提案されたIADD指標は、すべての対称的ポーズにおける最小のADD誤差を計算し、一貫性があり、ポーズの曖昧性に依存しない評価基準を提供。
• ベンチマークは既存のデータセットに基づき構築されており、1000個以上のトレーニングオブジェクト、1500個のトレーニングシーン、90個の実世界テストシーン（48個の未知のオブジェクトを含む）を含む。

実験結果

リサーチクエスチョン

• RQ1 メッシュモデルのみが与えられた状態で、再訓練なしに深層学習モデルが未知のオブジェクトの6次元姿勢を一般化して推定できるか？
• RQ2 ポーズの曖昧性の程度が異なるオブジェクト間で、6次元姿勢推定性能を公平に評価できる統一的かつロバストな評価指標をどのように設計できるか？
• RQ3 エンドツーエンドで学習された対応点ネットワークと従来の手法（例：FCGF、SuperGlue）との間で、未知のオブジェクト6次元姿勢推定において性能にどの程度の差があるか？
• RQ4 提案されたSPNモジュールは、実世界のシーンにおけるノイズや部分観測下で、対応点検出をどの程度改善するか？
• RQ5 提案手法は、未知のオブジェクトの姿勢推定において、直感的なベースラインと比較して、精度と推論効率の両面でどの程度優れているか？

主な発見

• 提案手法は、異なるオブジェクトタイプを有する3つの異なるテストサブセットで、調整済みベースライン比それぞれ20.3、14.9、9.7のAUC向上を達成し、優れた一般化性能を示した。
• YCB-Videoベンチマークでは、再訓練なしで実装されたベースライン比11.2のAUC向上を達成し、ゼロショット一般化能力を確認した。
• IADD指標は、対称的オブジェクトにおいて性能を過大評価しないため、ADD-Sよりも数値的に安定していることが示された。
• アブレーションスタディにより、SPNモジュールを削除すると性能が著しく低下することが確認され、正確な対応点学習におけるその重要な役割が裏付けられた。
• 1枚のRTX 3070 GPU上で推論を約4秒で実行でき、FCGF+SPN（約3秒）と比べて精度と速度の両面で優れており、SuperGlue+RANSAC（約15秒）よりも優れている。
• 定性的な結果から、特に小さなオブジェクトや対称的なオブジェクトにおいて、FCGF+SPN や SuperGlue+RANSAC よりもよりロバストであることが示された。