[論文レビュー] Learning Directed Locomotion in Modular Robots with Evolvable Morphologies

Gongjin Lan, Matteo De Carlo+4 more|arXiv (Cornell University)|Jan 21, 2020

Modular Robots and Swarm Intelligence参考文献 43被引用数 14

ひとこと要約

本論文は、ベイジアン最適化とHyperNEATを用いて、進化可能な形態をとるモジュラーロボットにおける方向運動の学習手法を提案する。ベイジアン最適化は、多様なロボット形状における効果的なコントローラーの学習において、HyperNEATよりも効率的であることが示され、実世界での妥当な実証実験により、測定可能なリアリティギャップが存在するものの、適切な軌道追従が達成された。

ABSTRACT

We generalize the well-studied problem of gait learning in modular robots in two dimensions. Firstly, we address locomotion in a given target direction that goes beyond learning a typical undirected gait. Secondly, rather than studying one fixed robot morphology we consider a test suite of different modular robots. This study is based on our interest in evolutionary robot systems where both morphologies and controllers evolve. In such a system, newborn robots have to learn to control their own body that is a random combination of the bodies of the parents. We apply and compare two learning algorithms, Bayesian optimization and HyperNEAT. The results of the experiments in simulation show that both methods successfully learn good controllers, but Bayesian optimization is more effective and efficient. We validate the best learned controllers by constructing three robots from the test suite in the real world and observe their fitness and actual trajectories. The obtained results indicate a reality gap that depends on the controllers and the shape of the robots, but overall the trajectories are adequate and follow the target directions successfully.

研究の動機と目的

• 無作為な歩行を越えた方向運動の学習に取り組む。
• 固定構造ではなく、多様なモジュラーロボットの形態を対象としたコントローラー学習を検討する。
• ランダムに組み合わされたロボット形態におけるコントローラー進化の有効性を、ベイジアン最適化とHyperNEATの両者で評価する。
• 学習されたコントローラーを実機ロボットに適用し、リアリティギャップを評価する。

提案手法

• 研究では、事前に定義されたモジュールのセットからランダムに組み合わされた形態を持つモジュラーロボットのコントローラーを学習するためのシミュレーション環境を用いる。
• 方向運動を生み出すニューラルネットワークコントローラーを進化させるために、2つの学習アルゴリズム（ベイジアン最適化とHyperNEAT）を適用する。
• フィットネス関数は、ロボットが標的方向にどれだけうまく移動するかを評価し、逸脱や非効率な運動に対してペナルティを課す。
• 報酬信号として前方進展と進行方向の正確さに基づく強化学習を用いてコントローラーを訓練する。
• シミュレーション終了後、最も優れた性能を示したコントローラーを3台の実世界モジュラーロボットにデプロイして一般化性能をテストする。
• リアリティギャップは、異なる形態とコントローラーにおけるシミュレーションと物理的軌道の比較によって分析される。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、多様なモジュラーロボット形態において、方向運動のコントローラーを効果的に学習できるか？
• RQ2 ベイジアン最適化の性能は、進化可能な形態におけるコントローラー学習において、HyperNEATと比べてどうか？
• RQ3 シミュレーションで学習したコントローラーは、実世界のモジュラーロボットにどの程度一般化できるか？
• RQ4 ロボットの形態は、運動性能におけるリアリティギャップにどのように影響するか？
• RQ5 コントローラー設計は、実機デプロイにおける軌道精度にどのような影響を及ぼすか？

主な発見

• テスト用のモジュラーロボット形態全般において、ベイジアン最適化はサンプル効率と最終的性能の両面でHyperNEATを上回った。
• ベイジアン最適化で学習されたコントローラーは、シミュレーション上でのフィットネススコアが高く、より優れた方向運動を示した。
• 実世界の実験により、最良のコントローラーがロボットを標的方向に効果的に誘導したが、シミュレーションとの間に測定可能なずれが存在した。
• リアリティギャップは、ロボットの形態とコントローラーの種別に大きく依存しており、一部の設定では他の設定よりも顕著な差異を示した。
• リアリティギャップが存在するにもかかわらず、物理的軌道は適切で方向的にも正確であり、一般化能力が裏付けられた。
• 本研究は、進化可能な形態と効率的な学習アルゴリズムの組み合わせが、モジュラーロボット分野における頑健な運動学習を可能にすることを確認した。