[論文レビュー] BundleTrack: 6D Pose Tracking for Novel Objects without Instance or Category-Level 3D Models

Bowen Wen, Kostas E. Bekris|arXiv (Cornell University)|Aug 1, 2021

Human Pose and Action Recognition被引用数 7

ひとこと要約

BundleTrack は、インスタンスまたはカテゴリレベルの 3D モデルを必要とせずに、新規オブジェクトに対して最先端の性能を達成する 6D オブジェクトポーズトラッキングフレームワークである。ディープラーニングに基づく動画セグメンテーションとキーポointマッチング、メモリ拡張型ポーズグラフ最適化を組み合わせることで、遮蔽や運動下でも長期間にわたり低ドリフトでトラッキングを可能にし、NOCSベンチマークで 87.4% の精度を達成した。これは CAD モデルを用いる手法と同等の性能である。

ABSTRACT

Tracking the 6D pose of objects in video sequences is important for robot manipulation. Most prior efforts, however, often assume that the target object's CAD model, at least at a category-level, is available for offline training or during online template matching. This work proposes BundleTrack, a general framework for 6D pose tracking of novel objects, which does not depend upon 3D models, either at the instance or category-level. It leverages the complementary attributes of recent advances in deep learning for segmentation and robust feature extraction, as well as memory-augmented pose graph optimization for spatiotemporal consistency. This enables long-term, low-drift tracking under various challenging scenarios, including significant occlusions and object motions. Comprehensive experiments given two public benchmarks demonstrate that the proposed approach significantly outperforms state-of-art, category-level 6D tracking or dynamic SLAM methods. When compared against state-of-art methods that rely on an object instance CAD model, comparable performance is achieved, despite the proposed method's reduced information requirements. An efficient implementation in CUDA provides a real-time performance of 10Hz for the entire framework. Code is available at: https://github.com/wenbowen123/BundleTrack

研究の動機と目的

• トレーニングまたは推論時にインスタンスまたはカテゴリレベルの 3D モデルを必要とする従来の 6D ポーズトラッキング手法の制限を克服すること。
• 遮蔽、運動、テクスチャレスな表面など、困難な条件下でも、耐障害性があり長期間にわたる 6D ポーズトラッキングを可能にすること。
• さまざまなオブジェクトインスタンスに再トレーニングやファインチューニングなしに高い精度を維持できる汎用性の高いフレームワークを開発すること。
• メモリ拡張型ポーズグラフ最適化戦略により、空間的・時間的整合性を活用してトラッキングドリフトを低減すること。

提案手法

• RGB 動画フレームから 2D-3D 対応点を抽出するために、事前学習済みのディープラーニングモデルを用いてインスタンスセグメンテーションとキーポイント検出を実行する。
• 複数の過去のキーフレームをメモリプールに保持した状態で、現在のフレームとそれらを複数のペアで照合する特徴マッチング戦略を適用する。
• グローバルエネルギー関数を用いて複数フレームのポーズを同時に最適化する、メモリ拡張型ポーズグラフ最適化を採用する。
• グローバル 3D モデルに統合するのではなく、生の過去の観測をキーフレームとしてメモリプールに保持することで、ドリフトの蓄積を低減する。
• CUDA による高速化実装を採用し、セグメンテーションと最適化を含む全パイプラインを 10Hz でリアルタイム処理を実現する。
• 複数ホップの対応リンクを可能にする頑健なデータアソシエーション機構を統合し、連続フレームのマッチングに曖昧さがある場合の信頼性を向上させる。

Figure 1: Top: NOCS Dataset [ 13 ] example: The target object exits the camera’s frustum during tracking but BundleTrack maintains its estimate without re-initialization. Bottom: YCBInEOAT Dataset [ 22 ] example: The object is successfully tracked during pick and place manipulation by a robotic arm,

実験結果

リサーチクエスチョン

• RQ1 インスタンスまたはカテゴリレベルの 3D モデルへのアクセスなしに、新規オブジェクトの 6D オブジェクトポーズトラッキングを達成できるか？
• RQ2 従来の SLAM やテンプレートベース手法と比較して、メモリ拡張型ポーズグラフ最適化は、長期間トラッキングにおけるドリフト低減にどの程度効果的か？
• RQ3 不規則な形状や低テクスチャのオブジェクトなど、分布外のオブジェクトインスタンスに対しても、このフレームワークはどの程度一般化可能か？
• RQ4 CAD モデルやカテゴリレベルの事前知識に依存する最先端の手法と比較して、本手法は精度と耐障害性においてどの程度優れているか？

主な発見

• 5°5cm 評価プロトコル下で、NOCSベンチマークにおいて 87.4% の精度を達成し、前回の最先端（SOTA）の 33.3% から顕著な向上を示した。
• CAD モデルを一切使用しないにもかかわらず、6-PACK や MaskFusion などのカテゴリレベル 6D トラックイング手法や動的 SLAM 手法を上回る性能を発揮した。
• インスタンス CAD モデルに依存する手法（例：RGF、$se(3)$-TrackNet）と同等の性能を達成したが、情報要件が低減されている。
• 深刻な自己遮蔽やオブジェクトの運動が発生しても、再初期化なしに安定したトラッキングを維持した。
• アブレーションスタディの結果、メモリ拡張型ポーズグラフ最適化および個々のエネルギー項が、トラッキング精度と耐障害性の向上に顕著な寄与をしていることが確認された。
• 1 枚の GPU 上で 10Hz でリアルタイムで動作し、MaskFusion よりも高速（17Hz）かつ 6-PACK よりも高速（4Hz）でありながら、より高い精度を達成した。

Figure 2: BundleTrack framework from left to right: (1) an image segmentation network returns the object mask given the prior one; (2) a network detects keypoints and their descriptors; (3) keypoints are matched and coarse registration is performed between consecutive frames to estimate an initial r