[論文レビュー] 6-PACK: Category-level 6D Pose Tracker with Anchor-Based Keypoints

Chen Wang, Roberto Martín-Martín+6 more|arXiv (Cornell University)|Oct 23, 2019

Robotics and Sensor-Based Localization参考文献 45被引用数 12

ひとこと要約

6-PACKは、事前に既知の3Dモデルが不要なカテゴリーレベルのRGB-D動画における6次元物体ポーズ追跡のための教師なしアーキテクチャに基づくキーポイント検出ネットワークを提案する。リアルタイムで、新規インスタンスの追跡が可能であり、NOCS-REAL275ベンチマークで最先端の性能を達成し、5°5cm指標において前人を15%以上上回る。10Hzのリアルタイムロボット操作タスクの実行を可能にする。

ABSTRACT

We present 6-PACK, a deep learning approach to category-level 6D object pose tracking on RGB-D data. Our method tracks in real-time novel object instances of known object categories such as bowls, laptops, and mugs. 6-PACK learns to compactly represent an object by a handful of 3D keypoints, based on which the interframe motion of an object instance can be estimated through keypoint matching. These keypoints are learned end-to-end without manual supervision in order to be most effective for tracking. Our experiments show that our method substantially outperforms existing methods on the NOCS category-level 6D pose estimation benchmark and supports a physical robot to perform simple vision-based closed-loop manipulation tasks. Our code and video are available at https://sites.google.com/view/6packtracking.

研究の動機と目的

• 既知のカテゴリ内での新規物体インスタンスの追跡を、事前に存在する3Dモデルを必要とせずに実現すること。
• コンパクトで特徴的な3次元キーポイントを学習することで、ごみ、遮蔽、視覚的変化の下でも、6次元ポーズ追跡の耐性と効率を向上させること。
• RGB-Dデータを用いて、物理的ロボットに実装可能なリアルタイム性能（10Hz）を達成すること。
• 検出ベースの追跡の限界を克服し、キーポイントベースのポーズ推定による時間的整合性を活用すること。

提案手法

• 以前に推定された物体ポーズの周囲に3次元キーポイント候補を生成するアーキテクチャに基づくメカニズムを導入し、2次元物体検出における領域候補に類似させる。
• 教師なしの学習により、深層ニューラルネットワークを訓練し、複数の物体インスタンスにわたって追跡に適したコンパクトで特徴的な3次元キーポイントを検出する。
• 連続フレーム間のキーポイントマッチングを用い、最小二乗法最適化により相対的な6次元ポーズ変化を推定する。
• 時間的に積算された相対ポーズ変化を用いて絶対的な6次元ポーズを推定し、直接回帰を避けることで安定性を向上させる。
• 時間的整合性を活用することで、長時間のシーケンスにおけるドリフト低減と耐性向上を実現する。
• RGB-D入力を用いて3次元キーポイントの位置を回帰し、幾何的制約を用いてフレーム間でキーポイントをマッチングさせる。

実験結果

リサーチクエスチョン

• RQ1 教師なしキーポイント検出ネットワークは、同じカテゴリの新規インスタンスに一般化可能なコンパクトで頑健な3次元ランドマークを学習できるか？
• RQ2 ピクセル単位または密度の高いキーポイント回帰と比較して、アーキテクチャに基づくキーポイント生成は、追跡の耐性と効率を向上させられるか？
• RQ3 相対ポーズ変化を積算するキーポイントベースのトラッカーは、検出ベースの6次元ポーズ推定を上回る性能を発揮するか？
• RQ4 初期ポーズ取得後も、長時間にわたり高い精度と安定性を維持できるか？
• RQ5 本手法は、物理的ロボットにリアルタイムで実装可能で、閉ループ制御タスクを可能にするか？

主な発見

• 6-PACKは、8個のキーポイントを用いてラップトップカテゴリで5°5cm指標で62.4%の精度を達成し、4キーポイント（55.2%）および16キーポイント（48.6%）のバージョンを上回り、情報量と冗長性の最適なトレードオフを示している。
• NOCS-REAL275ベンチマークにおいて、6-PACKは5°5cm指標で2番目に優れた手法（NOCS）を15.1ポイント、IoU25指標で12.0ポイント上回っている。
• トラッカーは高い安定性を維持し、評価シーケンス全体でIoU25 >94%を達成しており、追跡失敗がほとんどない。一方、KeypointNetは50.3%の試行で失敗している。
• 性能は時間経過とともにゆっくり劣化するが、100フレーム経過後でも6-PACKはNOCSより10%以上の高い精度を維持しており、優れた時間的耐性を示している。
• 本手法はGTX1070 GPU上で10Hzで動作し、GPUメモリ使用量は2GB未満であり、Toyota HSRロボットへのリアルタイム実装が可能である。
• 実世界のロボット実験では、6-PACKは60%以上の試行で物体を正常に追跡でき、ポーズ追跡フィードバックのみを用いて、倒し入れや投げ移動などのビジュアルベースの操作を実現した。