[論文レビュー] In-Hand Object Pose Tracking via Contact Feedback and GPU-Accelerated Robotic Simulation

Jacky Liang, Ankur Handa+4 more|arXiv (Cornell University)|Feb 27, 2020

Robot Manipulation and Learning参考文献 50被引用数 5

ひとこと要約

本論文は、GPUアクセラレートされたロボットシミュレーションと接触フィードバックを用いたリアルタイムなインハンドオブジェクトポーズ追跡手法を提案する。並列な物理シミュレーションと勾配フリー最適化を組み合わせることで、動的で操作中のオブジェクトポーズを推定する。本手法は、シミュレーションで平均6 mmのポイントクラウド誤差、1台のGPUで30 Hzで実現した実世界実験では13 mmの誤差を達成した。

ABSTRACT

Tracking the pose of an object while it is being held and manipulated by a robot hand is difficult for vision-based methods due to significant occlusions. Prior works have explored using contact feedback and particle filters to localize in-hand objects. However, they have mostly focused on the static grasp setting and not when the object is in motion, as doing so requires modeling of complex contact dynamics. In this work, we propose using GPU-accelerated parallel robot simulations and derivative-free, sample-based optimizers to track in-hand object poses with contact feedback during manipulation. We use physics simulation as the forward model for robot-object interactions, and the algorithm jointly optimizes for the state and the parameters of the simulations, so they better match with those of the real world. Our method runs in real-time (30Hz) on a single GPU, and it achieves an average point cloud distance error of 6mm in simulation experiments and 13mm in the real-world ones. View experiment videos at https://sites.google.com/view/in-hand-object-pose-tracking/

研究の動機と目的

• 動的で操作中の状況下で深刻な視覚的遮蔽が生じる中でのインハンドオブジェクトポーズ追跡の課題に対処すること。
• 視覚のみに依存する手法や静的グリップに依存する接触ベースのアプローチの限界を乗り越え、動くオブジェクトを追跡すること。
• 物理シミュレーションと接触フィードバック、最適化を統合することで、リアルタイムかつ高精度なポーズ推定を実現すること。
• 実世界の観測と一致させるために、シミュレーションのパラメータ（例：質量、摩擦係数）とオブジェクトの状態を同時に最適化することで、追跡精度を向上させること。
• 初期ポーズの不確実性やノイズの多いセンサデータがあるにもかかわらず、シミュレーションおよび実世界の両環境で頑健な性能を発揮すること。

提案手法

• Isaac Gymを用いたGPUアクセラレートされた物理シミュレータを用い、リアルタイムで40本の並列シミュレーションを実行してロボット-オブジェクト相互作用を再現する。
• 視覚ベースのポーズ登録に基づいて摂動を加えた初期オブジェクトポーズでシミュレーションを初期化し、初期不確実性を反映する。
• 実世界とシミュレートされたロボットの両方に同じロボット制御入力を適用して、ダイナミクスを同期させる。
• 接触フィードバック（大きさと方向）を、実世界とシミュレートされたハンドの両方から観測として取得する。
• サンプルベースで勾配フリーの最適化手法（例：REPS、PBO）を用い、実世界とシミュレートされた観測との一致を評価するコスト関数に基づいて、繰り返しシミュレーション状態とパラメータを更新する。
• 各タイムステップでコストが最小となるシミュレーションを、現在のオブジェクトポーズ推定値として選択する。

実験結果

リサーチクエスチョン

• RQ1 GPUアクセラレートされた物理シミュレーションと接触フィードバックは、動的で操作中の状況下での正確なインハンドオブジェクトポーズ追跡を可能にするか？
• RQ2 シミュレーションパラメータとオブジェクト状態を同時に最適化することで、固定パラメータのシミュレーションに比べて追跡性能がどのように向上するか？
• RQ3 初期ポーズの不確実性とセンサノイズが、実世界環境における追跡精度に与える影響は何か？
• RQ4 異なる勾配フリー最適化手法は、ノイズレベルの変動に応じて収束性、誤差分散、耐障害性においてどのように比較されるか？
• RQ5 バナナのような実世界のオブジェクトにおけるスリップや回転不安定性といった複雑な接触ダイナミクスを処理できるか？

主な発見

• 24の軌道と3つのオブジェクトを用いたシミュレーション実験において、平均6 mmのポイントクラウド距離誤差を達成した。
• 実世界実験では平均13 mmのポイントクラウド距離誤差を示し、最良の最適化手法（PBO）はフォームで14.1 mm、スパムで12.2 mmの誤差を記録した。
• シミュレーションで中程度の初期ポーズノイズ下で、REPSとPBO最適化手法がそれぞれ5.8 mmおよび5.9 mmの最小平均誤差を達成した。
• ベースライン手法に比べ、誤差分散と最大誤差が顕著に低減されており、収束の安定性が向上していることが示された。
• 実世界実験では、バナナの長大なモーメントアームと初期条件に対する高い感受性が原因で、シミュレーションが発散し、追跡に失敗した。
• コスト関数に接触およびスリップ検出フィードバックを組み込むことで、追跡性能が向上したことが、探索距離、シミュレーション数、フィードバックの有無に関するアブレーションスタディで示された。