[論文レビュー] Learning and Transfer of Modulated Locomotor Controllers

Nicolas Heess, Gregory Wayne+4 more|arXiv (Cornell University)|Oct 17, 2016

Robotic Locomotion and Control参考文献 25被引用数 105

ひとこと要約

本論文は、事前学習済みの低レベルの脊髄モジュールの出力を高レベルの皮質コントローラが調整する階層的な運動制御アーキテクチャを提示し、エンドツーエンド学習が難しいスパース報酬の多様な歩行タスクへのロバストな移行を可能にする。

ABSTRACT

We study a novel architecture and training procedure for locomotion tasks. A high-frequency, low-level "spinal" network with access to proprioceptive sensors learns sensorimotor primitives by training on simple tasks. This pre-trained module is fixed and connected to a low-frequency, high-level "cortical" network, with access to all sensors, which drives behavior by modulating the inputs to the spinal network. Where a monolithic end-to-end architecture fails completely, learning with a pre-trained spinal module succeeds at multiple high-level tasks, and enables the effective exploration required to learn from sparse rewards. We test our proposed architecture on three simulated bodies: a 16-dimensional swimming snake, a 20-dimensional quadruped, and a 54-dimensional humanoid. Our results are illustrated in the accompanying video at https://youtu.be/sboPYvhpraQ

研究の動機と目的

• 生物学的な脊髄プリミティブと皮質による調整の分業を反映した、モジュール化された階層的運動制御を動機づける。
• 固定された低レベルモジュールが高レベルコントローラにより調整されて行動を駆動する、2レベルのコントローラを開発する。
• 低レベルコントローラを凍結し、上位モジュレータを訓練して新しいタスクへ移行を可能にする。
• 複数のシミュレートされたボディとスパース報酬を用いた移行タスクでこのアプローチを実証する。

提案手法

• 高頻度で固有受容感覚入力を使用する低レベルの脊髄コントローラと、完全観測を用いより遅い時間スケールで動作する高レベルの皮質コントローラという、2レベルのアーキテクチャを提案する。
• 高レベルコントローラは低レベルコントローラをバイアスする変調信号 c_t を出力する。c_t は K ステップごとに更新され、相関のある探索を誘発するために確率的にもなり得る。
• 価値関数ベースラインとラムダリターン(R_t^λ)を用いた一般化ポリシー勾配法（actor-critic）を、事前学習と移行フェーズの両方の訓練に用いる。
• 確率的な高レベル変調を逆伝播させるためにリパラメタライゼーションの手法を採用し、勾配を高レベルコントローラへ流す。
• 単純な歩行タスクで形作られた報酬で低レベルコントローラを事前訓練し、それを凍結してスパース報酬の移行タスク用に高レベルモジュレータを訓練する。
• モジュール型アプローチをエンドツーエンド（FF/LSTM）ベースラインや、事前学習済みFFネットワークの再利用、あるいは新しい入力マッピングで初期化するような派生と比較する。

実験結果

リサーチクエスチョン

• RQ1 固定された事前学習済みの低レベル運動プリミティブが、上位ネットワークによって調整されると、エンドツーエンド学習が難しいスパース報酬の複雑なタスクを解決できるか？
• RQ2 高レベルコントローラによる階層的ノイズは、行動空間ノイズのみよりもより一貫性があり効果的な探索を促進するか？
• RQ3 学習済みの低レベルプリミティブは、さまざまな形態（蛇型、四足歩行、ヒューマノイド）やタスク（目標探索、渓谷移動、サッカー、スラローム）をどの程度横断して移行できるか？
• RQ4 時間スケールの分離と情報隠蔽は、タスク横断での運動プリミティブの堅牢な再利用にどのように寄与するか？

主な発見

• 遅い高レベルコントローラによって変調される事前学習済みの低レベル運動コントローラは、エンドツーエンド学習が失敗するいくつかの移行タスクを解決する。
• 階層的なノイズはプリミティブレベルで空間的・時間的に相関した探索を生み、スパース報酬タスクにおける探索を改善する。
• 3つのボディ（蛇型、四足歩行、ヒューマノイド）と複数のタスク（目標探索、渓谷移動、サッカー、スラローム）において、モジュール型アプローチは効果的な移行を示す一方、エンドツーエンド学習は苦戦する。
• 低レベルプリミティブは、一貫性があり再利用可能な運動行動を示し、多様な目標を達成するために呼び出され調整可能である。