[論文レビュー] FoundPose: Unseen Object Pose Estimation with Foundation Features

Evin Pınar Örnek, Yann Labbé+5 more|arXiv (Cornell University)|Nov 30, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

FoundPose は、オブジェクト固有のトレーニングなしで、1枚のRGB画像からDINOv2 ファウンデーション特徴量を用いて未学習の剛体オブジェクトの6次元姿勢推定を可能にする。DINOv2 パッチ特徴量を用いて効率的なテンプレート検索、2D-3D 対応関係のマッチング、特徴量マトリクスの最適化を実現し、BOPベンチマークで最先端の精度と速度を達成し、既存のRGBオンリーメソッドを上回る。

ABSTRACT

We propose FoundPose, a model-based method for 6D pose estimation of unseen objects from a single RGB image. The method can quickly onboard new objects using their 3D models without requiring any object- or task-specific training. In contrast, existing methods typically pre-train on large-scale, task-specific datasets in order to generalize to new objects and to bridge the image-to-model domain gap. We demonstrate that such generalization capabilities can be observed in a recent vision foundation model trained in a self-supervised manner. Specifically, our method estimates the object pose from image-to-model 2D-3D correspondences, which are established by matching patch descriptors from the recent DINOv2 model between the image and pre-rendered object templates. We find that reliable correspondences can be established by kNN matching of patch descriptors from an intermediate DINOv2 layer. Such descriptors carry stronger positional information than descriptors from the last layer, and we show their importance when semantic information is ambiguous due to object symmetries or a lack of texture. To avoid establishing correspondences against all object templates, we develop an efficient template retrieval approach that integrates the patch descriptors into the bag-of-words representation and can promptly propose a handful of similarly looking templates. Additionally, we apply featuremetric alignment to compensate for discrepancies in the 2D-3D correspondences caused by coarse patch sampling. The resulting method noticeably outperforms existing RGB methods for refinement-free pose estimation on the standard BOP benchmark with seven diverse datasets and can be seamlessly combined with an existing render-and-compare refinement method to achieve RGB-only state-of-the-art results. Project page: evinpinar.github.io/foundpose.

研究の動機と目的

• オブジェクト固有のトレーニングなしで、未学習の剛体オブジェクトの6次元姿勢推定を可能にすること。
• DINOv2 ファウンデーション特徴量の汎用性を活用してゼロショットの姿勢推定を実現すること。
• 高速なオンライン推論を可能にする最小限でスケーラブルなオブジェクト表現を設計すること。
• BOP などの標準ベンチマークにおいて、既存のRGBオンリーメソッドよりも精度と速度を向上させること。
• 特徴量マトリクスの最適化とMegaPoseとの補完的利用の有効性を実証すること。

提案手法

• オンボーディング段階では、オブジェクトのレンダードRGB-DテンプレートからDINOv2 パッチ特徴量が抽出され、深度情報を使って3次元に登録される。
• DINOv2 パッチ特徴量からボックオブワード記述子が構築され、データベース内の類似テンプレートの高速検索が可能になる。
• 推論段階では、オブジェクトマスク付きのクエリ画像が、ボックオブワード記述子のコサイン類似度に基づいて類似テンプレートの上位k個を検索する。
• クエリと取得したテンプレート間のDINOv2 パッチ特徴量のマッチングにより、2D-3D 対応関係が確立される。
• 2D-3D 対応関係からPnPRANSACを用いてポーズ仮説が生成される。
• 最良の仮説は、粗いパッチサンプリングに起因する乖離を低減するため、特徴量マトリクスのアライメントによって精緻化される。

実験結果

リサーチクエスチョン

• RQ1 DINOv2 ファウンデーション特徴量は、微調整やオブジェクト固有のトレーニングなしで、未学習オブジェクトの正確な6次元姿勢推定を可能にするか？
• RQ2 DINOv2 パッチ特徴量から構築されたボックオブワード記述子は、オクルージョンやドメインシフト下でもテンプレート検索にどの程度有効か？
• RQ3 特徴量マトリクスの最適化は、MegaPose などの既存のリファインヤーと組み合わせることでポーズ精度を向上させるか？
• RQ4 BOP ベンチマークにおいて、FoundPose の性能は、既存のRGBオンリーメソッドと比較して精度と推論速度の面でどの程度優れているか？
• RQ5 DINOv2 の異なるレイヤーやバックボーンアーキテクチャは、ポーズ推定性能にどのような影響を与えるか？

主な発見

• FoundPose は、オブジェクト固有のトレーニングなしで、BOP ベンチマークにおいてすべての既存のRGBオンリーメソッドを精度と速度の両面で上回り、最先端の結果を達成した。
• DINOv2 ViT-L レイヤー18にレジスタを用いたパッチ特徴量が、幾何的整合性と識別力の両立において最良のバランスを実現した。
• ボックオブワードテンプレート検索法は、clsトークンベースの検索よりも顕著にオクルージョンに強い。特に、真値マスクを用いる場合、精度が最大19%向上した。
• 特徴量マトリクスの最適化はMegaPoseのリファインヤーと補完的であり、両者の組み合わせは単体での利用よりも高い精度を達成した。
• ViT-L バックボーンをViT-Sに置き換えることで、1枚あたりの推論時間を約1.3秒（CNOSセグメンテーションを含む）に短縮でき、リアルタイムアプリケーションに適した。
• 真値セグメンテーションマスクを用いる場合、FoundPose はMegaPoseのARスコアに6〜19ポイント以内に近づいたが、15倍高速であった。これは、強力な効率-精度トレードオフを示している。