[논문 리뷰] Evolution Gym: A Large-Scale Benchmark for Evolving Soft Robots

Jagdeep Singh Bhatia, Holly Jackson외 3명|arXiv (Cornell University)|2022. 01. 24.

Advanced Materials and Mechanics인용 수 16

한 줄 요약

이 논문은 비틀림 기반 설계 공간과 물리 기반 시뮬레이션을 사용하여 소프트 로봇의 형태와 제어 정책을 함께 진화시키는 데 최초로 대규모 벤치마크인 Evolution Gym을 소개한다. 딥 강화 학습과 진화 알고리즘을 조합함으로써 복잡하고 생물학적으로 영감을 받은 로봇 설계를 자동으로 생성할 수 있음을 입증하였으며, 이는 다양한 이동 및 조작 작업에서 수작업으로 설계된 대비보다 뛰어난 성능을 발휘한다. 다만 현재의 방법들은 가장 과도한 환경에서는 실패하며, 고도화된 공동 설계 알고리즘의 필요성을 시사한다.

ABSTRACT

Both the design and control of a robot play equally important roles in its task performance. However, while optimal control is well studied in the machine learning and robotics community, less attention is placed on finding the optimal robot design. This is mainly because co-optimizing design and control in robotics is characterized as a challenging problem, and more importantly, a comprehensive evaluation benchmark for co-optimization does not exist. In this paper, we propose Evolution Gym, the first large-scale benchmark for co-optimizing the design and control of soft robots. In our benchmark, each robot is composed of different types of voxels (e.g., soft, rigid, actuators), resulting in a modular and expressive robot design space. Our benchmark environments span a wide range of tasks, including locomotion on various types of terrains and manipulation. Furthermore, we develop several robot co-evolution algorithms by combining state-of-the-art design optimization methods and deep reinforcement learning techniques. Evaluating the algorithms on our benchmark platform, we observe robots exhibiting increasingly complex behaviors as evolution progresses, with the best evolved designs solving many of our proposed tasks. Additionally, even though robot designs are evolved autonomously from scratch without prior knowledge, they often grow to resemble existing natural creatures while outperforming hand-designed robots. Nevertheless, all tested algorithms fail to find robots that succeed in our hardest environments. This suggests that more advanced algorithms are required to explore the high-dimensional design space and evolve increasingly intelligent robots -- an area of research in which we hope Evolution Gym will accelerate progress. Our website with code, environments, documentation, and tutorials is available at http://evogym.csail.mit.edu.

연구 동기 및 목표

• 소프트 로봇 분야에서 로봇 설계와 제어를 공동 최적화하기 위한 종합적인 벤치마크가 부족한 문제를 해결하기 위해.
• 다양하고 현실적인 작업을 기반으로 공동 설계 알고리즘의 체계적 평가 및 비교를 가능하게 하기 위해.
• 표준화되고 오픈소스인 플랫폼을 제공함으로써 형태와 제어 최적화의 공동 설계 연구를 가속화하기 위해.
• 자율적 진화가 인간이 설계한 솔루션과 맞먹거나 초월하는 로봇을 생성할 수 있는지 탐색하기 위해.

제안 방법

• 유연성, 강성, 액추에이터를 포함한 다재다능한 다중 재질 비트(비트)로 로봇 몸체를 표현함으로써 표현력 있고 확장 가능한 설계 공간 탐색을 가능하게 한다.
• 저비용 C++ 기반 질량-스프링 동역학 시뮬레이터를 사용하여 효율적인 물리 시뮬레이션을 수행하며, 마찰 접촉은 페널티 기반으로 처리한다.
• OpenAI Gym과 호환되는 파이썬 API를 구축하여 기존 강화 학습 프레임워크와의 사용성 및 통합을 용이하게 한다.
• 외부 루프에서 진화 알고리즘(예: 유전 알고리즘)을 사용해 설계 진화를 수행하고 내부 루프에서 딥 강화 학습(예: PPO)을 사용해 제어 최적화를 수행하는 이중 최적화 프레임워크를 구현한다.
• 이동성과 조작 과제의 난이도가 점차 증가하는 32개의 과제를 포함한 다양한 벤치마크 세트를 설계한다.
• MIT 라이선스 하에 전체 벤치마크, 코드, 문서를 공개하여 접근성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 로봇 형태와 제어 정책의 공동 진화가 인간의 사전 지식 없이도 효과적인, 과제에 특화된 소프트 로봇을 생성할 수 있는가?
• RQ2 다양한 설계 최적화 방법(예: 유전 알고리즘)이 공동 최적화 프레임워크 내에서 딥 강화 학습을 통한 제어와 어떻게 상호작용하는가?
• RQ3 진화된 로봇이 균형 잡기, 기어다니기, 점프하기와 같은 복잡한 생물학적으로 영감을 받은 행동을 어느 정도 개발할 수 있는가?
• RQ4 현재의 공동 설계 알고리즘이 왜 가장 과도한 과제에서 실패하는가?
• RQ5 이 벤치마크는 향후 공동 설계 알고리즘의 비교 및 발전을 위한 신뢰할 수 있고 확장 가능한 시험장으로 기능할 수 있는가?

주요 결과

• 유전 알고리즘 기반 공동 설계 알고리즘이 더 쉬운 과제에서 수작업 설계 로봇을 능가하는 로봇을 성공적으로 진화시켰으며, 공동 최적화의 가치를 입증하였다.
• Balancer-v0에서 진화된 로봇는 반동 무게를 작동시켜 인간의 균형 메커니즘을 모방하는 팔과 유사한 구조를 개발하였다.
• CaveCrawler-v0에서는 장애물 아래를 기어다니는 데 유리한 수축형의 뱀과 유사한 형태와 수평 방향 액추에이터를 갖춘 로봇이 진화하였다.
• BeamToppler-v0에서는 두 가지 다른 최적 설계가 나타났다: 하나는 아래에서 기둥을 밀기 위해 손 모양의 메커니즘을 사용하고, 다른 하나는 위에서 기둥을 밀기 위해 후크 모양의 집게를 사용하였다.
• 진전이 있었음에도 불구하고, PlatformJumper-v0와 Hurdler-v0와 같이 가장 과도한 환경에서는 어떤 기준 알고리즘도 성공하지 못했으며, 로봇이 간격이나 넓은 장애물을 넘지 못했다.
• 벤치마크는 진화된 설계가 종종 자연 생물에 유사하여 자율적 설계 진화 과정에서 생물학적으로 타당한 특성이 자동으로 유도된다는 것을 드러내었다.