[論文レビュー] Learning Modular Robot Control Policies

Julian Whitman, Matthew Travers+1 more|arXiv (Cornell University)|May 20, 2021

Modular Robots and Swarm Intelligence被引用数 5

ひとこと要約

本論文では、同じモジュールセットから構成される多様なロボット設計を1つの訓練済みポリシーで制御できるグラフニューラルネットワーク（GNN）ベースのモジュラー制御フレームワークを提案する。ロボットの運動学的構造を設計グラフとして表現し、同一モジュール間でパラメータを共有することで、ポリシーは異なる構成に文脈的に適応し、シミュレーションおよび実世界の実験において未観測の設計へも効果的なゼロショット一般化を達成する。

ABSTRACT

Modular robots can be rearranged into a new design, perhaps each day, to handle a wide variety of tasks by forming a customized robot for each new task. However, reconfiguring just the mechanism is not sufficient: each design also requires its own unique control policy. One could craft a policy from scratch for each new design, but such an approach is not scalable, especially given the large number of designs that can be generated from even a small set of modules. Instead, we create a modular policy framework where the policy structure is conditioned on the hardware arrangement, and use just one training process to create a policy that controls a wide variety of designs. Our approach leverages the fact that the kinematics of a modular robot can be represented as a design graph, with nodes as modules and edges as connections between them. Given a robot, its design graph is used to create a policy graph with the same structure, where each node contains a deep neural network, and modules of the same type share knowledge via shared parameters (e.g., all legs on a hexapod share the same network parameters). We developed a model-based reinforcement learning algorithm, interleaving model learning and trajectory optimization to train the policy. We show the modular policy generalizes to a large number of designs that were not seen during training without any additional learning. Finally, we demonstrate the policy controlling a variety of designs to locomote with both simulated and real robots.

研究の動機と目的

• 各ユニークなモジュラー・ロボット設計ごとに個別に訓練するというスケーラビリティの課題に対処する。
• 同じモジュールの任意の構成に適応できる1つのポリシーを学習することで、モジュラー・ロボットのプラグアンドプレイ制御を実現する。
• ロボット設計の構造的類似性（グラフとして表現）を活用し、モジュール間で知識を共有することで一般化性能を向上させる。
• 再訓練なしに多様なロボット形状を効率的に学習できるモデルベース強化学習（MBRL）アルゴリズムを開発する。
• トレーニング中に見未曾る新しいロボット設計へ、有効なゼロショット転送を実証する。

提案手法

• 任意のモジュラー・ロボットの運動学的構造を、モジュールをノード、接続をエッジとする設計グラフとして表現する。
• 設計グラフと同じトポロジーを持つポリシー・グラフを構築し、各ノードにディープニューラルネットワークを配置する。同一モジュール型はパラメータを共有する。
• グラフニューラルネットワーク（GNN）を用いて、グラフのエッジに沿ったメッセージパッシングによりモジュール間通信を可能にし、文脈に応じた行動適応を実現する。
• モデル学習と軌道最適化を交互に実行するモデルベース強化学習（MBRL）アルゴリズムを開発し、サンプル効率の高い訓練を実現する。
• ポリシーをロボットの設計グラフに条件付け、ハードウェアに依存するポリシーを構築し、構成に応じて動的に行動を調整可能にする。
• トレーニングは、TrajOptを用いたエキスパート・デモと、反復的なモデル学習・最適化を組み合わせることで、サンプル効率を向上させる。

Figure 1 : A set of modular components, a body, legs, and wheels, (top) can be combined to form many robot designs (middle). These designs can be represented by graphs (bottom). Our modular policy learning algorithm leverages the graph structure common to all such modular designs, enabling us to con

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに、多様なモジュラー・ロボット設計へ一般化可能な1つの制御ポリシーを訓練できるか？
• RQ2 グラフ構造のポリシーにおける同一モジュール間のパラメータ共有は、非グラフベースラインと比較してどの程度効果的か？
• RQ3 学習済みポリシーが、トレーニング中に見未曾る新しいロボット構成へどの程度ゼロショット転送を達成できるか？
• RQ4 グラフベースのメッセージパッシングを組み込むことで、完全結合型や非構造的アーキテクチャと比較して、ポリシーの性能と適応性が向上するか？
• RQ5 提案されたMBRLフレームワークは、モデルフリーの代替手法と比較して、サンプル効率と性能の面でどの程度優れているか？

主な発見

• 提案されたGNNベースのモジュラー・ポリシーは、未観測のロボット設計へ効果的なゼロショット一般化を達成し、多様な構成においてハードウェアに依存するMLPベースラインを上回った。
• GNNポリシーでは、脚の数が増えたり、車輪の数が減ったりする場合の性能低下が、MLPベースラインと比較して著しく緩和された。
• 速度一致指標では、GNNポリシーがヘキサポッドや脚車輪ハイブリッドなど、複雑な構成を含む広範な設計においても高い性能（平均V > 0.9）を維持した。
• モデルベース強化学習フレームワークにより、環境との相互作用回数を減らして効率的な訓練が可能となり、1設計あたり750～1000回のエキスパートロールアウトで安定したポリシー学習が達成された。
• グラフ構造のパラメータ共有により、モジュールが機能的役割（例：前部 vs 後部の脚）に応じて自動的に行動を適応させることができ、協調性と走破安定性が向上した。
• 実世界の実験では、ポリシーが複数の物理的ロボット設計を効果的に制御し、シミュレーションを越えた頑健性と転送性を示した。

(a)