[論文レビュー] Learning to Control Self-Assembling Morphologies: A Study of Generalization via Modularity

Deepak Pathak, Chris Xiaoxuan Lu+3 more|arXiv (Cornell University)|Feb 14, 2019

Modular Robots and Swarm Intelligence参考文献 35被引用数 45

ひとこと要約

本論文は、自己集合して形態を形成する原始的なロボット腕を訓練し、Dynamic Graph Networks を用いてモジュラーなコントローラを学習する。固定形態のベースラインと比較して、未知の形態や環境へ一般化が向上することを示す。

ABSTRACT

Contemporary sensorimotor learning approaches typically start with an existing complex agent (e.g., a robotic arm), which they learn to control. In contrast, this paper investigates a modular co-evolution strategy: a collection of primitive agents learns to dynamically self-assemble into composite bodies while also learning to coordinate their behavior to control these bodies. Each primitive agent consists of a limb with a motor attached at one end. Limbs may choose to link up to form collectives. When a limb initiates a link-up action, and there is another limb nearby, the latter is magnetically connected to the 'parent' limb's motor. This forms a new single agent, which may further link with other agents. In this way, complex morphologies can emerge, controlled by a policy whose architecture is in explicit correspondence with the morphology. We evaluate the performance of these dynamic and modular agents in simulated environments. We demonstrate better generalization to test-time changes both in the environment, as well as in the structure of the agent, compared to static and monolithic baselines. Project video and code are available at https://pathak22.github.io/modular-assemblies/

研究の動機と目的

• 多細胞組織に着想を得た適応可能で汎化可能なエージェントへの道として、モジュラーな自己組立を動機づける。
• 結合/非結合をRLフレームワーク内のアクションとして扱い、制御ポリシーと形態を共同進化させる。
• 動的グラフネットワーク（DGN）を通じて進化する形態に合わせたモジュラーなポリシーを開発する。
• モノリシックなベースラインと比較して、新しい形態や環境に対するゼロショットの一般化が改善されることを示す。

提案手法

• 自己組み立てされたエージェントを、磁性ジョイントで結合された肢のグラフとして表現する。
• 各肢は、トルクと結合/非結合アクションを出力する共通ポリシーを実行する。
• ダイナミクス：グラフのトポロジはポリシー出力（DGN）に基づき時間とともに変化する。
• エッジを介したメッセージ伝搬により、接続された肢間を協調させ、入力は局所的な感覚データに制限される。
• 進化するグラフ全体の肢の報酬の合計を最大化するようPPOで最適化する。
• さまざまな地形と肢数で立ち上がりおよび移動タスクを評価する。

実験結果

リサーチクエスチョン

• RQ1 共同で学習した制御と形態のポリシーは、未知の形態や環境に一般化できるか。
• RQ2 モジュラーでグラフ構造のポリシーは、肢の数の変化に対する適応をモノリシックなポリシーよりも良く転移できるか。
• RQ3 動的に組み立てられた形態間での制御を調整する際のメッセージ伝搬の影響は何か。

主な発見

• Dynamic Graph Network ポリシーは、立位および移動タスクでモノリシックなベースラインを上回る。
• DGNポリシーは、肢数が異なる場合のゼロショット一般化が強力に示される（例：6肢から4肢または12肢へ）。
• ソフトウェアのモジュール性（共有肢ポリシー）とハードウェア（自己組織化）の両方が、単独要因よりも訓練と一般化を向上させる。
• メッセージ伝搬を伴うDGNは、長期的な協調（立ち上がり）には有効だが、さまざまな形態が成功できる移動ではそれほど差が出ない。
• 形態カリキュラムの下で訓練されたポリシーは、新しい地形や外乱（風、水、障害物）への一般化性能が向上する。