[論文レビュー] Evolution Gym: A Large-Scale Benchmark for Evolving Soft Robots

Jagdeep Singh Bhatia, Holly Jackson+3 more|arXiv (Cornell University)|Jan 24, 2022

Advanced Materials and Mechanics被引用数 16

ひとこと要約

この論文では、ボクセルベースの設計空間と物理ベースのシミュレーションを用いて、ソフトロボットの形状と制御ポリシーを共に進化させるための、初めての大規模なベンチマーク「Evolution Gym」を紹介する。深層強化学習と進化的アルゴリズムを組み合わせることで、生物学的にインスパイアされた複雑なロボット設計を、人為的な事前知識なしに自動的に生成できることを示している。これは多様な移動および操作タスクにおいて、手作業で設計された対応物を上回る性能を発揮するが、現在の手法は最も困難な環境では失敗しており、高度な共設計アルゴリズムの開発が今後必要であることを示している。

ABSTRACT

Both the design and control of a robot play equally important roles in its task performance. However, while optimal control is well studied in the machine learning and robotics community, less attention is placed on finding the optimal robot design. This is mainly because co-optimizing design and control in robotics is characterized as a challenging problem, and more importantly, a comprehensive evaluation benchmark for co-optimization does not exist. In this paper, we propose Evolution Gym, the first large-scale benchmark for co-optimizing the design and control of soft robots. In our benchmark, each robot is composed of different types of voxels (e.g., soft, rigid, actuators), resulting in a modular and expressive robot design space. Our benchmark environments span a wide range of tasks, including locomotion on various types of terrains and manipulation. Furthermore, we develop several robot co-evolution algorithms by combining state-of-the-art design optimization methods and deep reinforcement learning techniques. Evaluating the algorithms on our benchmark platform, we observe robots exhibiting increasingly complex behaviors as evolution progresses, with the best evolved designs solving many of our proposed tasks. Additionally, even though robot designs are evolved autonomously from scratch without prior knowledge, they often grow to resemble existing natural creatures while outperforming hand-designed robots. Nevertheless, all tested algorithms fail to find robots that succeed in our hardest environments. This suggests that more advanced algorithms are required to explore the high-dimensional design space and evolve increasingly intelligent robots -- an area of research in which we hope Evolution Gym will accelerate progress. Our website with code, environments, documentation, and tutorials is available at http://evogym.csail.mit.edu.

研究の動機と目的

• ソフトロボティクス分野におけるロボット設計と制御の共同最適化のための包括的でないベンチマークの欠如に応えること。
• 多様で現実的で、共設計アルゴリズムの体系的評価と比較を可能にする。
• 標準化されたオープンソースプラットフォームを提供することで、形態と制御の共同最適化分野の研究を加速させること。
• 自動進化によって、人為的に設計されたソリューションに匹敵またはそれを凌駕するロボットを生成できるかどうかを検証すること。

提案手法

• モジュラーで多材質のボクセル（軟らかく、剛性があり、アクチュエータとしてのもの）としてロボットボディを表現することで、表現力とスケーラビリティに優れた設計空間の探索を可能にする。
• ペナルティベースの摩擦接触を備えた軽量なC++ベースの質量-スプリングダイナミクスシミュレータを用い、効率的な物理シミュレーションを実現する。
• OpenAI Gymと互換性のあるPython APIを構築することで、既存のRLフレームワークとの統合と使いやすさを確保する。
• 設計の進化（外側のループ）に進化的アルゴリズム（例：遺伝的アルゴリズム）を、制御の最適化（内側のループ）に深層強化学習（例：PPO）を用いる二段階最適化フレームワークを実装する。
• 移動のための多様な地形と、難易度が上昇する操作課題を含む、32のタスクからなる多様なベンチマークスイートを設計する。
• ベンチマーク全体、コード、ドキュメンテーションをMITライセンスのもとで公開し、オープンアクセスと再現可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 人為的な事前知識なしに、ロボットの形状と制御ポリシーの共進化によって、効果的でタスク固有のソフトロボットを生成できるか？
• RQ2 遺伝的アルゴリズムなどの異なる設計最適化手法が、共同最適化フレームワーク内での深層強化学習による制御とどのように相互作用するか？
• RQ3 進化したロボットは、バランス取り、這いずり、ジャンプといった、複雑で生物学的にインスパイアされた行動をどの程度発現できるか？
• RQ4 なぜ現在の共設計アルゴリズムは、ベンチマークの中で最も困難なタスクを解くことができないのか？
• RQ5 このベンチマークは、将来の共設計アルゴリズムの比較と発展を可能にする信頼性がありスケーラブルなテストベッドとして機能できるか？

主な発見

• GAベースの共設計アルゴリズムは、簡単なタスクにおいて、手作業で設計されたロボットを上回る性能を示したロボットを成功裏に進化させ、共同最適化の価値を実証した。
• Balancer-v0では、反動質量を駆動することで人間のバランス機構を模倣するアーム型構造が進化した。
• CaveCrawler-v0では、障害物の下を這いずるための水平方向のアクチュエータを備えた、ヘビに似たコンactな形状のロボットが進化した。
• BeamToppler-v0では、2つの明確な最適設計が出現した：1つは下からビームを押し上げる手のような機構、もう1つは上から押し上げるフック型グリッパーを備えたもの。
• 進展は見られたが、PlatformJumper-v0 や Hurdler-v0 のような最も困難な環境では、いかなるベースラインアルゴリズムも、ギャップや幅広い障害物を越えることに失敗した。
• ベンチマークの結果から、進化した設計はしばしば自然界の生物に類似しており、自動設計進化において生物学的妥当性が自然に出現することが示唆された。