[論文レビュー] In-Hand Object Rotation via Rapid Motor Adaptation

Haozhi Qi, Ashish Kumar+3 more|arXiv (Cornell University)|Oct 10, 2022

Robot Manipulation and Learning被引用数 13

ひとこと要約

本論文では、実世界のロボットハンドが、実世界での微調整を一切行わずに、さまざまな物体をz軸まわりに回転可能にする、シミュレーションで訓練された、プロ prioceptionのみを用いたコントローラーを提案する。迅速なモータ適応を用いて、プロ prioceptive履歴から物体の特性を推定することで、サイズ、質量、形状が異なる30種類以上の物体に対して、指先のフィードバックのみを用いて、頑健な一般化を達成している。

ABSTRACT

Generalized in-hand manipulation has long been an unsolved challenge of robotics. As a small step towards this grand goal, we demonstrate how to design and learn a simple adaptive controller to achieve in-hand object rotation using only fingertips. The controller is trained entirely in simulation on only cylindrical objects, which then - without any fine-tuning - can be directly deployed to a real robot hand to rotate dozens of objects with diverse sizes, shapes, and weights over the z-axis. This is achieved via rapid online adaptation of the controller to the object properties using only proprioception history. Furthermore, natural and stable finger gaits automatically emerge from training the control policy via reinforcement learning. Code and more videos are available at https://haozhi.io/hora

研究の動機と目的

• 実世界の多様な物体に対して、実世界での微調整なしに一般化可能なハンドインオブジェクト回転を可能にすること。
• 質量、サイズ、形状が未知の物体を、プロ prioceptiveフィードバックのみで操作する課題に対処すること。
• プロ prioceptive履歴から、物体の特性の低次元で解釈可能な表現が自然に出現するかを検証すること。
• 明示的な歩行パターンの設計なしに、強化学習から安定的で自然な指の動き（ガイト）が出現するかを示すこと。
• 純粋にプロ prioceptiveな適応が、トレーニング時に見なかった物体に対しても頑健な一般化を可能にすることを検証すること。

提案手法

• シミュレーション内で、サイズと質量が異なる円柱型物体のみを用いて強化学習ポリシーを訓練する。
• 指先が感知する質量、サイズ、形状を捉える、物体特性（外部要因）の圧縮表現を学習する。
• 教師あり学習によりシミュレーションで訓練された、プロ prioceptive履歴から外部要因ベクトルを推定する迅速なモータ適応モジュールを実装する。
• リアルワールドでの実行中に、推定された外部要因を用いて制御ポリシーをオンラインで適応させる。
• 視覚やタクトイルセンサに依存せず、関節位置と速度のプロ prioceptiveフィードバックのみを用いて、リアルタイムでの適応を実現する。
• t-SNE可視化を用いて、推定された外部要因の構造を分析し、物理的特性と相関する低次元で解釈可能なクラスタリングが存在することを確認する。

実験結果

リサーチクエスチョン

• RQ1 円柱型物体のみで訓練されたコントローラーが、プロ prioceptionのみを用いて、多様な実世界の物体に一般化可能か？
• RQ2 推定された物体特性（外部要因）への迅速なオンライン適応が、質量や形状の異なる物体に対しても頑健なハンドイン回転を可能にするか？
• RQ3 明示的なガイト設計なしに、エンドツーエンドの強化学習から安定的で自然な指の動きが出現するか？
• RQ4 推定された外部要因ベクトルは、未確認の物体への一般化を支援するような、解釈可能で構造的なものか？
• RQ5 視覚やタクトイルフィードバックなしに、プロ prioceptive履歴だけがどれほど適応を可能にするか？

主な発見

• コントローラーは、直径4.5 cmから7.5 cm、質量5 gから200 gの30種類以上の実世界の物体を、実世界での微調整なしに回転させることに成功した。
• 推定された外部要因ベクトルはt-SNE空間で明確なクラスタリングを示し、異なる物体のサイズや質量に対応する明確な領域が存在しており、低次元で解釈可能な表現であることが示された。
• 外部要因ベクトルの2番目の次元と物体の質量との間に強い相関が観察され、軽い物体では値が高くなる傾向が見られた。
• 本手法は、明示的な設計なしに自然に出現する安定的で高クリアランスの指のガイトを達成した。一方、球体物体で訓練されたポリシーは不安定なガイトを示した。
• 失敗事例の多くは、誤った接触点や非常に小さな物体（直径 < 4.0 cm）における指の衝突に起因しており、接触フィードバックが欠如しているための把握安定性の制限を示している。
• 本手法は非剛体および多孔質な物体に対しても一般化でき、トレーニング分布を超えた素材や形状の変化に対しても頑健であることが示された。