[論文レビュー] MetaMorph: Learning Universal Controllers with Transformers

Agrim Gupta, Linxi Fan+2 more|arXiv (Cornell University)|Mar 22, 2022

Modular Robots and Swarm Intelligence被引用数 12

ひとこと要約

MetaMorphは、ロボットの形状をモodal として条件付けたTransformerベースの汎用コントローラーを提案する。多様な形状で事前学習することで、未学習の動的・運動学的特性およびタスクに対してゼロショット一般化が可能となり、微調整時のサンプル効率が学習から再訓練する場合と比較して2–3倍向上する。

ABSTRACT

Multiple domains like vision, natural language, and audio are witnessing tremendous progress by leveraging Transformers for large scale pre-training followed by task specific fine tuning. In contrast, in robotics we primarily train a single robot for a single task. However, modular robot systems now allow for the flexible combination of general-purpose building blocks into task optimized morphologies. However, given the exponentially large number of possible robot morphologies, training a controller for each new design is impractical. In this work, we propose MetaMorph, a Transformer based approach to learn a universal controller over a modular robot design space. MetaMorph is based on the insight that robot morphology is just another modality on which we can condition the output of a Transformer. Through extensive experiments we demonstrate that large scale pre-training on a variety of robot morphologies results in policies with combinatorial generalization capabilities, including zero shot generalization to unseen robot morphologies. We further demonstrate that our pre-trained policy can be used for sample-efficient transfer to completely new robot morphologies and tasks.

研究の動機と目的

• モジュラーロボットにおける各形状ごとに別個のコントローラーを訓練する課題に対処すること。
• 再トレーニングなしに未学習のロボット形状、動的特性、運動学的変化に一般化できること。
• 事前学習済みポリシーを用いて、新しい形状および新しいタスクへのサンプル効率の高い転移を達成すること。
• 注意機構に現れる自己組織化運動連合が、高自由度ロボットの制御を説明できるかどうかを調査すること。

提案手法

• 各ロボットをプロ prioceptiveおよび形状特徴を符号化したモジュールレベルのトークン列として表現する。
• Transformerアーキテクチャを用い、ポリシー出力を全形状列に条件づける。
• 複雑な3D環境における15–20 DOFのモジュラーロボットの多様な分布でポリシーを事前学習する。
• 個々のロボットの学習効率に応じて経験収集を調整する動的リプレイバッファのバランスを実装する。
• 安定ランクを用いて注意行列を分析し、制御ポリシーに現れる自己組織化運動連合を検出する。
• 最小限のデータで新しい形状およびタスクに事前学習済みポリシーを微調整し、転移学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つの事前学習済みTransformerポリシーは、3D歩行タスクにおいて未学習のロボット形状および動的特性に一般化可能か？
• RQ2 大規模な事前学習は、新しい形状およびタスクに転移する際のサンプル効率をどの程度向上させるか？
• RQ3 Transformerポリシーの注意機構は、高自由度システムの構造的制御を示唆する運動連合の兆候を示しているか？
• RQ4 動的リプレイバッファのバランスは、サンプル複雑性が異なるロボット間で学習効率をどのように向上させるか？
• RQ5 事前学習中に見られなかった新しい形状およびタスクにおいて、ポリシーは強力なゼロショット性能を達成できるか？

主な発見

• MetaMorphは、3つの複雑な3D環境において、未学習のロボット形状、動的特性、運動学的変化に強くゼロショット一般化を達成した。
• 事前学習済みMetaMorphポリシーの微調整は、学習から再訓練する場合と比較して2–3倍のサンプル効率向上を示した。
• 分布シフトが生じても、山間部からの脱出や円柱障害物を避けるナビゲーションといった新しいタスクに、効果的に一般化された。
• 注意行列の分析から、低安定ランクと周期的パターンが観察され、複数の肢が同時に活性化されるような運動連合の出現が示された。
• 動的リプレイバッファのバランスにより、学習が遅いロボットに多くの経験を割り当てることで、トレーニング効率が向上し、全体の収束が促進された。
• 事前学習済みポリシーはハードウェアのばらつきに強く、実世界での展開に実用的であり、故障耐性の可能性を示した。