[論文レビュー] General Robot Dynamics Learning and Gen2Real

Dengpeng Xing, Jiale Li+2 more|arXiv (Cornell University)|Apr 6, 2021

Robot Manipulation and Learning参考文献 32被引用数 4

ひとこと要約

本論文は、多様なロボット構成で事前学習されたGPTに類似したモデルを用いて一般ロボットダイナミクス（GRD）を学習し、シミュレーションから実世界のロボットへの転移（Gen2Real）を可能にする。本手法はロボットタイプ間で優れた一般化性能を示し、特に未学習のロボットへの転移において、ベースラインを上回る性能を発揮し、ダイナミクス転移において平均RMSEが25%低減され、逆ダイナミクス性能も優れている。

ABSTRACT

Acquiring dynamics is an essential topic in robot learning, but up-to-date methods, such as dynamics randomization, need to restart to check nominal parameters, generate simulation data, and train networks whenever they face different robots. To improve it, we novelly investigate general robot dynamics, its inverse models, and Gen2Real, which means transferring to reality. Our motivations are to build a model that learns the intrinsic dynamics of various robots and lower the threshold of dynamics learning by enabling an amateur to obtain robot models without being trapped in details. This paper achieves the "generality" by randomizing dynamics parameters, topology configurations, and model dimensions, which in sequence cover the property, the connection, and the number of robot links. A structure modified from GPT is applied to access the pre-training model of general dynamics. We also study various inverse models of dynamics to facilitate different applications. We step further to investigate a new concept, "Gen2Real", to transfer simulated, general models to physical, specific robots. Simulation and experiment results demonstrate the validity of the proposed models and method.\footnote{ These authors contribute equally.

研究の動機と目的

• 多様なロボット特性、トポロジー、次元をカバーする汎用モデルを提供することで、ロボットダイナミクス学習の障壁を低減すること。
• 広範なロボットダイナミクス分布にわたって1つのモデルを事前学習することで、一般化性能の向上が可能かどうかを調査すること。
• 特定のロボットに対して再学習を実施せずに、一般シミュレーテッドモデルを物理的ロボットに直接転移できる新しい転移パラダイム、Gen2Realの開発。
• シミュレーションおよび実世界の実験において、GRDおよびGen2Realのダイナミクスおよび逆ダイナミクス転移性能の評価。
• 汎用モデルが、タスク固有のモデルと比較して、シミュレーションから実世界への転移において競争力ある、あるいは優れた性能を達成できることの実証。

提案手法

• ダイナミクスパラメータ、トポロジー構成、モデル次元をランダム化して、さまざまな直列ロボットインスタンスをカバーする多様なデータセットを生成。
• ロボット状態をトークンに類似した入力として扱い、連続的トラジェクトリーシーケンスから一般ロボットダイナミクスを学習可能な、GPTに類似したトランスフォーマー・アーキテクチャを適応。
• ランダム化されたデータセット上で統合的汎用ダイナミクスモデル（GRD）を学習し、ロボットタイプを越えた内在的ダイナミクスを捉える。
• 特定の用途および誤差補正に適した、汎用逆ダイナミクス、左逆ダイナミクス、右逆ダイナミクスの3つの逆ダイナミクスモデルを構築。
• Gen2Realを実装：シミュレーションベースの微調整（Gen2Spe）と、最小限の実データを用いた実世界適応（Spe2Real）からなる2段階の転移プロセス。
• 実世界の転移時に最終層以外を変更しない1つの大規模ネットワークを用いることで、効率性と一般化性能を維持。

実験結果

リサーチクエスチョン

• RQ1 ダイナミクスパラメータ、トポロジー、モデル次元をランダム化することで、1つの事前学習モデルが多様なロボットの内在的ダイナミクスを学習可能かどうか？
• RQ2 汎用ダイナミクスモデルは、タスク固有のモデルと比較して、未学習の物理的ロボットへのシミュレーションから実世界への転移において、どの程度の性能を発揮するか？
• RQ3 提案されたGen2Realフレームワークは、シミュレーションから実世界への転移における反復的データ収集と再学習の必要性をどの程度低減できるか？
• RQ4 実世界の転移において、汎用ダイナミクスモデルと逆ダイナミクスモデルの性能にどのような差があるか？
• RQ5 異なるロボット構成（例：2リンク）から複雑なロボット（例：UR5e）への転移において、汎用モデルは高い性能を維持できるか？

主な発見

• Gen2Realは、UR5eロボットにおけるシミュレーションから実世界へのダイナミクス転移で、平均RMSE 0.018 ± 0.004を達成し、LSTMおよび線形ベースラインを上回った。
• 2リンクロボットモデルをUR5eに転移する際、Gen2Realは次に優れた手法と比較して、平均RMSEが25%低く、標準偏差が33%低かった。
• 逆ダイナミクス転移においてはLSTMが最良（平均RMSE 0.72 N·m）であったが、Gen2Realも競争力のある0.83 N·m（標準偏差0.21 N·m）を達成した。
• Gen2Realは、異なるロボットセット（2リンク）で学習した汎用モデルを複雑なロボット（UR5e）に転移する際、LSTMおよび線形ベースラインを上回る優れた性能を示した。
• ダイナミクス転送 followed by 逆ダイナミクス転送の組み合わせにおいて、Gen2Realは他の手法と比較して顕著な誤差低減を達成し、優れた性能を示した。
• 汎用モデルは再学習なしに多様なロボット構成で高い性能を維持し、GRDおよびGen2Realの概念の妥当性を裏付けた。