[論文レビュー] Adaptive Tensegrity Locomotion on Rough Terrain via Reinforcement Learning

David Surovik, Kun Wang+1 more|arXiv (Cornell University)|Sep 27, 2018

Structural Analysis and Optimization参考文献 19被引用数 5

ひとこと要約

本論文では、6本のバーからなるテンスグリティロボットの強化学習ベースの制御器を提案し、強化されたガイドドポリシーシェアチング（GPS）フレームワークを用いて、不整地な地形における適応的で周期的でない歩行を実現する。マルチモーダルな局所モデル化と事後的データローカライゼーションを導入することで、動的接触反応を伴う複雑な不整地な地形を安定して走破でき、従来の周期的制御手法を著しく上回る性能を発揮する。

ABSTRACT

The dynamical properties of tensegrity robots give them appealing ruggedness and adaptability, but present major challenges with respect to locomotion control. Due to high-dimensionality and complex contact responses, data-driven approaches are apt for producing viable feedback policies. Guided Policy Search (GPS), a sample-efficient and model-free hybrid framework for optimization and reinforcement learning, has recently been used to produce periodic locomotion for a spherical 6-bar tensegrity robot on flat or slightly varied surfaces. This work provides an extension to non-periodic locomotion and achieves rough terrain traversal, which requires more broadly varied, adaptive, and non-periodic rover behavior. The contribution alters the control optimization step of GPS, which locally fits and exploits surrogate models of the dynamics, and employs the existing supervised learning step. The proposed solution incorporates new processes to ensure effective local modeling despite the disorganized nature of sample data in rough terrain locomotion. Demonstrations in simulation reveal that the resulting controller sustains the highly adaptive behavior necessary to reliably traverse rough terrain.

研究の動機と目的

• 不整で構造のない地形における周期的でない、適応的歩行を可能にし、従来の周期的制御ポリシーの制限を克服すること。
• 複雑な接触ダイナミクスを示すテンスグリティロボットの強化学習において、散逸的かつ高次元のサンプルデータの課題に対処すること。
• ガイドドポリシーシェアチング（GPS）フレームワークを、局所ダイナミクスモデル化とデータ整理の改善によって、持続的かつ適応的行動をサポートするように拡張すること。
• ステップごとの安定な走破を可能にするフィードバックポリシーの、サンプル効率の高い学習を実証すること。
• 他の高次元で柔軟性を持つロボットシステムに適用可能な、スケーラブルなアルゴリズム的基盤を提供すること。

提案手法

• 不整地からの散逸的サンプルデータに適したフィットを実現するため、制御最適化ステップを変更し、ダイナミクスのマルチモーダルな局所モデル化を組み込んだ、GPSフレームワークの強化。
• クラスタリングによる事後的データローカライゼーションを導入し、類似した状態をグループ化することで、周期的でない不規則な軌道でも効果的な局所代替モデル化を可能にする。
• 次元削減と対称性の活用により、多様な地形設定における一般化性能を向上させるとともに、サンプル複雑性を低減する。
• 洗練された局所ダイナミクスモデルを用いて、教師あり学習によりフィードバックポリシーを適合させ、安定的かつ適応的制御ポリシーを確保する。
• 教師あり学習と局所ダイナミクス適合の間を繰り返すハイブリッド最適化パイプラインを採用し、サンプル効率を維持しながら複雑な行動を実現する。
• 6本のバーからなるテンスグリティローバーを用いたシミュレーションで、NTRT環境を用い、リアルな物理法則と地形変動を組み込んで手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースの制御器は、テンスグリティロボットが不整地な地形で周期的でない、適応的歩行を達成できるか？
• RQ2 複雑な地形相互作用に起因する散逸的かつ周期的でないサンプルデータの存在下で、局所ダイナミクスモデル化をどのように改善できるか？
• RQ3 単一モードモデル化と比較して、マルチモーダルな局所モデル化は、制御器の性能と耐性にどの程度向上効果をもたらすか？
• RQ4 GPSフレームワークは、高次元で柔軟性を持つロボットシステムにおいて、周期的歩行を超えた持続的で適応的行動をサポートできるか？
• RQ5 事後的データローカライゼーションは、周期的でない歩行タスクのための効果的な学習をどのように可能にするか？

主な発見

• 提案された制御器は、1つの地形特徴を越えて2/3以上のバー長さの高さ上昇を達成し、不整地な地形においても高い適応性を示した。
• マルチモーダルフィッティングにより、単一モードフィッティングと比較してコスト関数が10%以上低減され、ハマリ状態の頻度が著しく減少した。
• 水平および下り坂区間では、滑らかな重心（CoM）軌道を維持しながら900ステップ（1.5分間）にわたって前進運動を継続し、上り坂部では適応的反応を示した。
• 周期性への依存度が低下し、任意の軸方向の運動が可能になり、細いまたは危険な地形配置におけるナビゲーション性が向上した。
• 事後的データローカライゼーションとマルチモーダルモデル化のおかげで、不規則かつ散逸的サンプルデータであっても、効果的な局所ダイナミクス近似が可能となった。
• 複雑な接触幾何学的形状や地形変動に対しても、耐性を示し、適応性と耐性の点で、従来の周期的制御器を上回る性能を発揮した。