[論文レビュー] Transferring Dexterous Manipulation from GPU Simulation to a Remote Real-World TriFinger

Arthur Allshire, Mayank Mittal+8 more|arXiv (Cornell University)|Aug 22, 2021

Robot Manipulation and Learning参考文献 25被引用数 15

ひとこと要約

本論文は、ドメインランダマイゼーションとキーポイントベースの観測および報酬を用いたGPUアクセラレートされたシミュレーションで訓練された、TriFingerロボットにおける6自由度の機敏なハンドインハンド操作を統合的に実現する深層強化学習ポリシーを提示する。この手法は、遠隔地の実世界のTriFingerにおいて83%の成功率を達成し、未観測の物体にも一般化可能であり、単一のポリシーで安定した grasping, ungrasping, 再配置を実現する。

ABSTRACT

We present a system for learning a challenging dexterous manipulation task involving moving a cube to an arbitrary 6-DoF pose with only 3-fingers trained with NVIDIA's IsaacGym simulator. We show empirical benefits, both in simulation and sim-to-real transfer, of using keypoints as opposed to position+quaternion representations for the object pose in 6-DoF for policy observations and in reward calculation to train a model-free reinforcement learning agent. By utilizing domain randomization strategies along with the keypoint representation of the pose of the manipulated object, we achieve a high success rate of 83% on a remote TriFinger system maintained by the organizers of the Real Robot Challenge. With the aim of assisting further research in learning in-hand manipulation, we make the codebase of our system, along with trained checkpoints that come with billions of steps of experience available, at https://s2r2-ig.github.io

研究の動機と目的

• 実世界のロボットハンドにおける任意の6自由度のオブジェクト再配置を含む複雑なハンドインハンド操作タスクを対象とした、耐障害性があり統合された強化学習ポリシーの開発。
• 高精細シミュレーションとドメインランダマイゼーションを活用することで、機敏な操作におけるシミュレーションから実世界への転送の課題に対処すること。
• スケーラブルなトレーニングとキーポイントベースの表現を用いることで、未観測のオブジェクトや物理的パrameterの変化に対するポリシーの一般化を向上させること。
• 物理的アクセスがなくても、リモートのクラウドベースのロボットシステムにデプロイ可能であり、ファームワイドの展開においても耐障害性を示すこと。
• トレーニング済みのチェックポイントを含む再現可能でオープンソースのフレームワークを提供し、今後のシミュレーションから実世界への機敏な操作分野の研究を加速すること。

提案手法

• ドメインランダマイゼーションを用いた高速GPUアクセラレートされたMuJoCoシミュレーション環境で、モデルフリーの深層強化学習エージェントを訓練し、シミュレーションから実世界への耐障害性を高める。
• 6自由度の操作における学習効率と一般化性能の向上を図るため、ポリシーの観測および密度報酬関数の両方でオブジェクトのポーズをキーポイントベースの表現で扱う。
• 1つの統合ポリシーがグリッピング、アングリッピング、オブジェクトの再配置を学習できるよう、数十亿ステップにわたる大規模なトレーニングを実施。
• 物理的アクセスがなくても実世界の性能を検証できるように、クラウドベースのTriFingerロボットファームを用いたリモートのロボットインザループトレーニングループを統合。
• 新しいオブジェクトの形状やサイズに対して微調整を施し、特にスケールの変化に対してゼロショット一般化性能を向上させる。
• 推論段階で市販のポーズ推定（例：YOLOベースの検出器）を用いることで、最小限の再トレーニングで実世界へのデプロイを可能にする。

(a) OpenAI’s shadow hand setup. The cube starts placed in the hand.

実験結果

リサーチクエスチョン

• RQ1 1つの深層強化学習ポリシーが、シミュレーションでグリッピングと再配置を含む完全な6自由度のハンドインハンド操作を学習し、実世界への耐障害性のある転送を達成できるか？
• RQ2 観測と報酬の両方でキーポイントベースのオブジェクトポーズ表現を用いる場合、従来の位置＋クaternion表現と比較して、シミュレーションから実世界への成功率とトレーニングの安定性にどのような差が生じるか？
• RQ3 微調整なしで、未観測のオブジェクトの形状とスケールにどの程度一般化できるか？
• RQ4 ドメインランダマイゼーションは、リモートでクラウドベースのロボティクスプラットフォーム上で、高いシミュレーションから実世界への転送性能を実現するためにどの程度有効か？
• RQ5 実世界のデプロイにおいて、オブジェクトの落下などの失敗から回復し、自動的に再グリッピングを実行できるか？

主な発見

• キーポイントベースの観測と報酬を使用したポリシー（O-KP+R-KP）は、実際のTriFingerロボットで82.5%の成功率を達成し、すべてのアブレーションを上回った。
• キーポイントベースの報酬で訓練されたポリシーは、位置＋クaternionベースの報酬で訓練されたポリシー（55%および60%）と比較して顕著に高い成功率（77.5%および82.5%）を示した。
• 未観測の異なるサイズの直方体に対してゼロショット一般化を実施したところ46.8%の成功率を達成し、微調整後には72.9%に向上した。これは、一般化においてスケールが形状よりもより重要な要因であることを示している。
• ポリシーは、特に挑戦的なターゲット位置において、ポーズの正確性と安定性を向上させるために「落とし・再グリッピング」のようなエメrgェントな行動を示した。
• 物理的アクセスがなくても、シミュレーションから遠隔地の実世界のTriFingerロボットへの転送に成功し、ファームワイドかつクラウドベースの展開環境における耐障害性を検証した。
• EGADベンチマークにおいて、未観測のオブジェクトに対して微調整を施した結果、成功率がゼロショット時の84.9%から87.2%に向上した。これは、ドメインシフトの緩和に微調整が有効であることを確認した。

(b) The Trifinger setup. The object starts outside of the hand to enable reset-free setup.