[論文レビュー] Gen6D: Generalizable Model-Free 6-DoF Object Pose Estimation from RGB Images

Yuan Liu, Yilin Wen+5 more|arXiv (Cornell University)|Apr 22, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

Gen6Dは、未学習の物体に対して、3Dモデル、深度、マスクを一切使用せずに、RGB画像からのみ正確なポーズを予測できる汎用的でモデルフリーの6自由度物体ポーズ推定器を提案する。わずかな姿勢付き参照画像のみを必要とし、複雑な背景やスパarsな視点に対しても、グローバル正規化と自己注意機構を備えた新しいピクセル単位のビューポイント選択器とボリュームベースのポーズ精錬器を組み合わせることで、モデルフリーのベンチマークで最先端の性能を達成した。

ABSTRACT

In this paper, we present a generalizable model-free 6-DoF object pose estimator called Gen6D. Existing generalizable pose estimators either need high-quality object models or require additional depth maps or object masks in test time, which significantly limits their application scope. In contrast, our pose estimator only requires some posed images of the unseen object and is able to accurately predict the poses of the object in arbitrary environments. Gen6D consists of an object detector, a viewpoint selector and a pose refiner, all of which do not require the 3D object model and can generalize to unseen objects. Experiments show that Gen6D achieves state-of-the-art results on two model-free datasets: the MOPED dataset and a new GenMOP dataset collected by us. In addition, on the LINEMOD dataset, Gen6D achieves competitive results compared with instance-specific pose estimators. Project page: https://liuyuan-pal.github.io/Gen6D/.

研究の動機と目的

• テスト時に3Dモデル、深度マップ、オブジェクトマスクを必要としない、未学習の物体に一般化可能な6自由度物体ポーズ推定器の開発。
• モデルフリーのポーズ推定において、複雑な背景やスパarsな参照ビュー下での正確なビューポイント選択の課題への対処。
• 3Dジオメトリやインスタンス固有のファインチューニングにアクセスできない状況下でも、効果的に一般化可能なポーズ精錬器の設計。
• RGB画像とわずかな参照ポーズのみが利用可能な実世界のシナリオにおけるポーズ推定の実用的導入を可能にする。

提案手法

• ピクセル単位の画像マッチング機構により、クエリ画像と各参照画像を比較し、ピクセルごとの類似度スコアを計算することで、オブジェクト領域に注目し、背景の干渉を低減する。
• ビューポイントセレクタにグローバル正規化と自己注意層を導入することで、参照画像間のコンテキスト共有を可能とし、曖昧なビューポイント下でも選択精度を向上させる。
• ボリュームベースのポーズ精錬器は、微分可能レンダリングを用いて画像再構築誤差を最小化することで初期ポーズを精錬し、3Dモデルが不要なエンドツーエンド最適化を可能にする。
• フレームワークは、オブジェクト検出器（領域局所化用）、ビューポイントセレクタ（粗いポーズ推定用）、ポーズ精錬器（微調整用）を統合的に統合し、一貫したエンドツーエンドの訓練を実現する。
• 推論時に深度、マスク、3Dオブジェクトモデルに依存しない。RGB画像と姿勢付き参照画像のみに依存する。
• 多様なデータで訓練することで、一般化可能な画像マッチングパターンを学習し、未学習のオブジェクトに対するゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テスト時に3Dモデル、深度マップ、オブジェクトマスクを必要としない6自由度ポーズ推定器は、未学習のオブジェクトに一般化可能か？
• RQ2 モデルフリーな設定下で、複雑な背景やスパarsな参照ビュー下でのビューポイント選択は、どのように改善可能か？
• RQ3 ゼロショット一般化において、レンダリングと比較に基づくベースラインと比較して、ボリュームベースのポーズ精錬器はどの程度の性能向上を達成するか？
• RQ4 ビューポイントセレクタにグローバル正規化と自己注意機構を統合することで、背景の雑音やビューポイントの曖昧性に対するロバストネスはどの程度向上するか？
• RQ5 トレーニングデータの多様性は、ポーズ推定器の一般化能力にどのような影響を与えるか？

主な発見

• Gen6Dは、MOPEDおよびGenMOPデータセットで最先端の性能を達成し、深度とマスクを必要とするLatent-Fusion や PVNet などのモデルフリーのベースラインを上回った。
• MOPEDデータセットでは、同じ入力制約下でGen6Dは平均ADD-AUC 17.90%を達成し、ObjDesc [69]（8.55%）とLatent-Fusion（14.88%）を大きく上回った。
• GenMOPデータセットにおいて、グローバル正規化と参照ビュー変換器を備えた完全なビューポイントセレクタは、これらのコンポーネントを欠いたベースラインと比較してADD-AUCを9.4ポイント向上させた。
• ボリュームベースのポーズ精錬器は、同じセレクタを用いた場合、平均Prj-5スコア77.54%を達成し、DeepIM精錬器（42.16%）を上回り、優れた一般化性能を示した。
• 1回の精錬ステップのみで、ボリュームベースの精錬器はチェアオブジェクトで50.50%のPrj-5スコアを達成し、DeepIM精錬器の12.50%を大きく上回った。
• Gen6Dは2080Ti GPU上で540×960の画像を約0.64秒で処理でき、3ステップの精錬に約0.5秒を要するため、実用的な推論速度を実現した。