[논문 리뷰] Run, skeleton, run: skeletal model in a physics-based simulation

Mikhail Pavlov, Sergey Kolesnikov외 1명|arXiv (Cornell University)|2017. 11. 18.

Reinforcement Learning in Robotics참고 문헌 19인용 수 6

한 줄 요약

이 논문은 OpenSim에서 뼈대 근육계 모델을 사용하여 물리 기반 강화 학습 접근법을 제안하며, 장애물 코스를 빠르게 주행하는 인간 유사 에이전트를 훈련시킨다. 저자는 DDPG에 층 정규화, 파rameter 노이즈, 행동/상태 반사 기법을 적용한 결과가 가장 높은 샘플 효율성과 성능을 보였으며, 20개 스레드에서 최대 수익 38.46을 기록하여 NIPS 2017 '러닝하기 배우기' 경연 대회에서 3위를 차지했다.

ABSTRACT

In this paper, we present our approach to solve a physics-based reinforcement learning challenge "Learning to Run" with objective to train physiologically-based human model to navigate a complex obstacle course as quickly as possible. The environment is computationally expensive, has a high-dimensional continuous action space and is stochastic. We benchmark state of the art policy-gradient methods and test several improvements, such as layer normalization, parameter noise, action and state reflecting, to stabilize training and improve its sample-efficiency. We found that the Deep Deterministic Policy Gradient method is the most efficient method for this environment and the improvements we have introduced help to stabilize training. Learned models are able to generalize to new physical scenarios, e.g. different obstacle courses.

연구 동기 및 목표

• 물리 기반 시뮬레이션에서 생리학적으로 기반한 인간 모델을 사용하여 NIPS 2017 '러닝하기 배우기' 챌린지를 해결하는 것.
• 고차원적이고 확률적이며 계산 비용이 큰 환경에서 샘플 효율성을 평가하고 향상시키는 것.
• 복잡한 이동 작업에서 정책 기반 강화 학습 방법에 대한 아키텍처 및 훈련 수정의 영향을 조사하는 것.
• 훈련 중에 보지 못한 새로운 장애물 코스에 적응할 수 있는 강력하고 일반화 가능한 제어기를 개발하는 것.

제안 방법

• 신체 부위 위치, 속도 및 장애물 위치를 포함한 41차원 상태 공간을 가진 OpenSim 내 뼈대 근육계 모델을 사용.
• 샘플 효율성을 높이기 위해 오프-폴리시 성격과 경험 재현 기법을 갖춘 딥 디터미니스트릭 정책 기반 강화 학습(DDPG)을 핵심 알고리즘으로 활용.
• 훈련을 안정화하고 다양한 네트워크 레이어 간 일반화를 향상시키기 위해 층 정규화를 적용.
• 탐색을 향상시키고 근육 제어의 대칭성을 높이기 위해 파rameter 노이즈와 행동/상태 반사 기법을 통합.
• 재현 버퍼 크기를 5e6으로 설정하고, Adam 최적화를 사용하여 액터 및 크리틱 네트워크의 학습률을 선형 감소시킴.
• 각 수정 사항의 성능 및 안정성에 미치는 영향을 평가하기 위해 8개 및 20개의 병렬 스레드에서 아블레이션 스터디를 수행.

실험 결과

연구 질문

• RQ1 고차원적이고 확률적이며 계산 비용이 큰 물리 기반 환경에서 어떤 정책 기반 강화 학습 방법이 가장 우수한 성능을 보이는가?
• RQ2 층 정규화 및 파rameter 노이즈와 같은 아키텍처 및 훈련 수정 사항은 학습 안정성과 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 행동 및 상태 반사는 이동 작업에서 학습 대칭성과 성능을 얼마나 향상시키는가?
• RQ4 훈련 중에 보지 못한 새로운 장애물 코스에 대해 훈련된 제어기가 일반화 가능한가?
• RQ5 병렬 훈련 스레드의 수는 최종 성능과 모델 순위에 어떤 영향을 미치는가?

주요 결과

• DDPG는 오프-폴리시 성격과 경험 재현 기능 덕분에 PPO 및 TRPO보다 환경에서 더 높은 샘플 효율성을 보이며 성능이 뛰어났다.
• 층 정규화, 파rameter 노이즈, 행동/상태 반사의 조합이 가장 높은 성능을 기록했으며, 20개 스레드에서 최대 수익 38.46을 달성했다.
• 행동 및 상태 반사는 효과적인 훈련 데이터를 두 배로 늘리고 근육 활성화의 대칭성을 향상시켜 보다 자연스러운 달리기 행동을 이끌어냈다.
• 층 정규화는 파rameter 노이즈의 안정성을 확보하는 데 핵심적이었으며, 이를 생략할 경우 노이즈 사용에도 불구하고 성능이 크게 떨어졌다.
• 8개 및 20개 스레드에서 모델 순위는 안정적이었지만, 병렬 처리 수가 증가할수록 성능이 크게 향상되었다.
• 최종 모델은 새로운 장애물 코스로의 일반화가 잘 되었으며, 학습된 정책의 강건성과 이식 가능성(트랜스퍼러빌리티)을 입증했다.