[論文レビュー] PIZZA: A Powerful Image-only Zero-Shot Zero-CAD Approach to 6 DoF Tracking

Van Nguyen Nguyen, Yuming Du+3 more|arXiv (Cornell University)|Sep 15, 2022

Advanced Vision and Imaging被引用数 9

ひとこと要約

PIZZAは、3Dモデル、トレーニング画像、深度データを一切必要とせず、RGB動画のみを用いて6次元物体ポーズ追跡を実現する、新しい画像専用のゼロショット、ゼロCAD手法を提案する。2フレームネットワークとドメインランダマイズドの合成データを用いたマルチフレームTransformerエンコーダーを活用し、物体に関する事前の知識が一切ない状態でも、実世界のデータセットで最先端の性能を達成している。

ABSTRACT

Estimating the relative pose of a new object without prior knowledge is a hard problem, while it is an ability very much needed in robotics and Augmented Reality. We present a method for tracking the 6D motion of objects in RGB video sequences when neither the training images nor the 3D geometry of the objects are available. In contrast to previous works, our method can therefore consider unknown objects in open world instantly, without requiring any prior information or a specific training phase. We consider two architectures, one based on two frames, and the other relying on a Transformer Encoder, which can exploit an arbitrary number of past frames. We train our architectures using only synthetic renderings with domain randomization. Our results on challenging datasets are on par with previous works that require much more information (training images of the target objects, 3D models, and/or depth data). Our source code is available at https://github.com/nv-nguyen/pizza

研究の動機と目的

• 物体に関する事前情報が一切ないオープンワールドのシナリオにおいて6次元物体ポーズ追跡の課題に取り組む。
• 3Dモデル、深度データ、物体固有のトレーニングデータに依存しない、ゼロショット、ゼロCADの6次元追跡を実現する。
• CADモデル、複数の参照画像、深度入力が必要となる既存手法の制限を克服する。
• マルチフレームモデリングとインスタンスセグメンテーションを活用し、遮蔽や背景のごみに対してより強い耐性を発揮する。
• 微調整なしに合成トレーニングデータから実世界のテストシーケンスへの一般化を実証する。

提案手法

• 2フレームネットワークと、任意の過去フレーム数を処理可能なTransformerベースのエンコーダーを備えた2つのアーキテクチャを提案する。
• 実世界の多様な状況をシミュレートするため、ドメインランダマイズドのRGBレンダリング画像のみを用いてモデルをトレーニングする。
• 事前学習済みのインスタンスセグメンテーションモデル（例：[13] から取得）を統合し、複雑な背景から物体を分離することで、動き予測の耐性を向上させる。
• 6次元の運動を連続するフレーム間の相対的変換として表現し、予測全体にスケールの一貫性を強制する。
• 全推定値が共通のスケール要因まで一貫した並進量を保つ相対的ポーズ表現を採用する。
• 反復的リファインメントを適用：初期の真値ポーズから予測された相対的ポーズを累積して、完全な軌道を推定する。

実験結果

リサーチクエスチョン

• RQ1 3Dモデル、深度データ、物体固有のトレーニングデータが一切ない状態でも、RGB動画のみから6次元物体ポーズ追跡が可能か？
• RQ2 Transformerエンコーダーを用いたマルチフレームモデリングは、フレームごとの処理に比べて追跡精度を向上させ、ドリフトを低減するか？
• RQ3 インスタンスセグメンテーションは、複雑な背景における未学習の物体に対して性能低下をどれほど緩和できるか？
• RQ4 ドメイン適応なしに、合成トレーニングデータから実世界のベンチマークへの一般化はどの程度達成できるか？
• RQ5 CADモデルが利用不可な状況下で、背景の複雑さや遮蔽がゼロショット6次元追跡性能に与える影響はどの程度か？

主な発見

• マルチフレームTransformerベースのPIZZAバージョンは、MopedおよびLavalの実世界データセットで最先端の性能を達成し、3Dモデルや深度データを用いる手法を上回った。
• Lavalデータセットでは、PIZZAのマルチフレームモデルがAUC (ADD) 72.2、AUC (ADD-S) 72.2を達成し、MoveIt（64.7および69.7）を上回り、1枚の参照画像を使用するLatentFusionと同等の性能を示した。
• 高い遮蔽状況下でも、他の手法と比較して著しく性能の低下が少なく、優れた耐性を示した。
• 1枚の参照画像を使用した場合、LatentFusionと同等の結果を達成し、8枚の参照画像を使用するLatentFusionに対しても競争力を持続した。
• 2フレームバージョンは、CADモデルや深度データなしでも競争力のある性能を示し、MopedデータセットでAUC (ADD) 47.5、AUC (ADD-S) 47.9を達成した。
• Z軸並進の推定に課題はあったが、全体として強い一般化性能を示し、マスクがノイズを含んでもセグメンテーションモジュールの耐性が保たれた。