[논문 리뷰] Terrain RL Simulator

Glen Berseth, Xue Bin Peng외 1명|arXiv (Cornell University)|2018. 04. 17.

Robotic Locomotion and Control참고 문헌 8인용 수 3

한 줄 요약

이 논문은 표준 벤치마크를 넘어서 작업 난이도를 높이기 위해 무작위로 생성된 지형을 갖춘 연속 제어 환경 89개로 구성된 TerrainRLSim 라이브러리를 소개한다. 이는 다양한 에이전트 형태, 다수의 제어 철학(토르크, 위치, 속도, 근육 기반) 및 지형 인식을 지원하여 계층적 강화학습과 지속적 학습 분야의 연구를 가능하게 한다.

ABSTRACT

We provide $89$ challenging simulation environments that range in difficulty. The difficulty of solving a task is linked not only to the number of dimensions in the action space but also to the size and shape of the distribution of configurations the agent experiences. Therefore, we are releasing a number of simulation environments that include randomly generated terrain. The library also provides simple mechanisms to create new environments with different agent morphologies and the option to modify the distribution of generated terrain. We believe using these and other more complex simulations will help push the field closer to creating human-level intelligence.

연구 동기 및 목표

• 딥 강화학습을 위한 충분히 도전적인 연속 제어 환경의 부족을 해결한다.
• 변동하는 지형 기하학과 분포를 통합하여 작업 난이도를 높이며, 이는 행동 공간 복잡성과 인지 요구 사항에 영향을 준다.
• 파arameterized 지형 생성과 유연한 에이전트 형태를 통해 새로운 사용자 정의 환경의 구축을 가능하게 한다.
• 새로운 환경 설계를 통해 계층적 강화학습과 지속적 학습과 같은 고급 강화학습 기법을 지원한다.
• 시뮬레이션에서 실제 물리적 제약 조건과 가능성을 모델링하여 견고하고 일반화 가능한 정책의 개발을 촉진한다.

제안 방법

• 고정밀도 역학과 실시간 성능을 지원하기 위해 Bullet 물리 엔진을 사용한 물리 기반 시뮬레이션 환경을 설계한다.
• 관찰 벡터의 일부로 국소 지형 상태 특징(예: 높이, 경사도)을 노출시켜 컨볼루션 네트워크에 의해 우선적으로 처리되도록 한다.
• 다양한 제어 전략을 위한 다수의 행동 표현 공간(토르크, 목표 속도, 목표 위치, 근육 활성화)을 구현한다.
• 에피소드 간에 지형 복잡성, 형태, 분포를 다양화할 수 있도록 parameterized 지형 생성을 도입하여 작업 다양성을 높인다.
• 설정 가능한 난수 시드와 모듈식 환경 구축을 통해 재현 가능한 훈련을 지원하고 확장성을 확보한다.
• 기존의 동작 캡처 데이터를 통합하고, 다중 에이전트 및 다중 작업 학습 시나리오(예: PLAiD)를 포함하도록 환경을 확장한다.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 지형의 변동성이 표준 벤치마크를 넘어서 연속 제어 작업의 난이도를 어느 정도 높이는가?
• RQ2 복잡하고 무작위로 생성된 지형 환경에서 계층적 강화학습이 운동 제어 작업을 효과적으로 해결할 수 있는가?
• RQ3 다양한 행동 표현 공간(예: 근육 기반 vs. 토르크)은 동적 지형에서 정책 학습과 일반화에 어떤 영향을 미치는가?
• RQ4 실제 물리적 파rameter(예: 관절 토르크 한계, 마찰력, 감쇠)의 통합은 강화학습 환경의 현실성과 난이도를 어느 정도 향상시키는가?
• RQ5 제안된 환경은 연속 제어 설정에서 다중 작업 및 지속적 학습을 지원할 수 있는가?

주요 결과

• 무작위로 생성된 지형을 갖춘 89개의 고유한 시뮬레이션 환경을 포함하며, 많은 환경들이 표준 DRL 방법으로는 여전히 해결되지 않은 상태이다.
• 특히 복잡한 지형과 동적 장애물이 있는 환경들은 성공적인 정책 학습을 위해 계층적 강화학습이 필요하다.
• 지형 상태 특징을 관찰 벡터에 통합함으로써 인지 기반 제어에 대해 컨볼루션 네트워크의 효과적인 활용이 가능해진다.
• 근육 기반 제어와 다수의 구동 모델 통합은 적용 가능한 강화학습 알고리즘의 범위를 넓히고 더 생물학적으로 타당한 학습을 가능하게 한다.
• 최적화된 Bullet 물리 엔진 덕분에 고정밀도이고 재현 가능한 시뮬레이션을 제공하며, 훈련 및 평가에 적합한 성능을 확보한다.
• 이 라이브러리는 지속적 및 다중 작업 강화학습 분야의 새로운 연구를 가능하게 하며, PLAiD와 같은 전용 환경을 통해 3차원 연속 제어에서 이러한 시나리오를 지원한다.