[논문 리뷰] Guided Curriculum Learning for Walking Over Complex Terrain

Brendan Tidd, Nicolas Hudson외 1명|arXiv (Cornell University)|2020. 10. 08.

Robotic Locomotion and Control참고 문헌 18인용 수 8

한 줄 요약

이 논문은 이족 보행 로봇이 갈림길, 장애물, 계단, 계단 단계와 같은 복잡한 지형을 걷도록 훈련하기 위한 3단계 지도형 커리큘럼 학습 프레임워크를 제안한다. 점진적으로 지형의 난이도를 높이고, 지도력의 크기를 줄이며, 점진적으로 증가하는 교란을 도입함으로써, 인간의 시연 없이도 단순한 수작업으로 설계된 보행 궤적을 사전 지식으로 사용하여 강건하고 고성능의 정책을 달성한다.

ABSTRACT

Reliable bipedal walking over complex terrain is a challenging problem, using a curriculum can help learning. Curriculum learning is the idea of starting with an achievable version of a task and increasing the difficulty as a success criteria is met. We propose a 3-stage curriculum to train Deep Reinforcement Learning policies for bipedal walking over various challenging terrains. In the first stage, the agent starts on an easy terrain and the terrain difficulty is gradually increased, while forces derived from a target policy are applied to the robot joints and the base. In the second stage, the guiding forces are gradually reduced to zero. Finally, in the third stage, random perturbations with increasing magnitude are applied to the robot base, so the robustness of the policies are improved. In simulation experiments, we show that our approach is effective in learning walking policies, separate from each other, for five terrain types: flat, hurdles, gaps, stairs, and steps. Moreover, we demonstrate that in the absence of human demonstrations, a simple hand designed walking trajectory is a sufficient prior to learn to traverse complex terrain types. In ablation studies, we show that taking out any one of the three stages of the curriculum degrades the learning performance.

연구 동기 및 목표

• 깊이 있는 강화학습을 사용하여 고차원 자유도를 가진 복잡한 지형에서 강건한 이족 보행 정책을 훈련하는 데 도전하는 것.
• 간단한 수작업으로 설계된 보행 궤적을 지도적 사전 지식으로 활용하여 인간의 시연에 의존도를 줄이는 것.
• 단계적으로 난이도를 높이는 구조적인 커리큘럼을 통해 샘플 효율성과 최종 정책 성능을 향상시키는 것.
• 훈련 중에 체계적으로 외부 교란을 도입하여 정책의 강건성을 향상시키는 것.
• 각 단계의 필요성과 효과를 제거 실험을 통해 검증하는 것.

제안 방법

• 1단계는 간단한 수작업으로 설계된 보행 궤적에서 유도된 중심질량과 각 관절에 작용하는 지도력력을 사용하여 로봇을 안정화시키고 점차 어려운 지형에서 탐색을 장려한다.
• 2단계는 로봇이 자율 제어로 전환할 수 있도록 지도력의 크기를 점진적으로 0으로 줄여 지도에서 정책 기반 행동으로의 매끄러운 이행을 보장한다.
• 3단계는 로봇 기반에 점차 증가하는 크기의 무작위 교란을 도입하여 외부 간섭에 대한 강건성을 향상시킨다.
• 커리큘럼은 평탄한 지형, 갈림길, 장애물, 계단, 계단 단계의 다섯 가지 지형 유형별로 별도로 적용되며, 각 지형 유형은 자체 정책으로 훈련된다.
• 단일 스칼라 밀도 보상 신호를 사용하는 딥 강화학습을 사용하며, 희소 보상 문제를 극복하기 위해 커리큘럼 진행을 활용한다.
• 각 단계를 제거하여 성능 기여도를 평가하기 위해 제거 실험을 실시한다.

실험 결과

연구 질문

• RQ1 간단한 수작업으로 설계된 보행 궤적은 인간의 시연 없이도 다양한 복잡한 지형을 횡단하기 위한 효과적인 사전 지식이 될 수 있는가?
• RQ2 다단계 커리큘럼 학습 접근법은 복잡한 지형에서 이족 보행의 샘플 효율성과 최종 정책 성능을 향상시키는가?
• RQ3 지형 진전, 힘 감소, 교란 노출의 각 단계가 전체 학습 성공에 기여하는 바는 무엇인가?
• RQ4 고정된 교란 또는 교란 없이 훈련하는 것과 비교할 때, 커리큘럼 기반 훈련 방법은 강건성과 일반화 능력 측면에서 어떻게 다른가?
• RQ5 훈련된 정책은 최종 훈련 난이도 이하 또는 초과하는 지형 난이도에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 3단계 커리큘럼은 학습 성능을 크게 향상시키며, 어느 단계라도 제거할 경우 성능 저하 또는 훈련 실패가 발생한다.
• 평탄한 지형에서는 커리큘럼 방법이 최대 교란 상황에서 총 이동 거리의 87.1%를 달성했으며, 작은 교란으로 훈련한 경우(45.9%)와 큰 교란을 일관되게 적용한 경우(81.2%)보다 뛰어난 성능을 보였다.
• 갈림길 지형에서는 커리큘럼 방법이 최대 교란 상황에서 총 이동 거리의 35.7%를 달성했으며, 작은 교란(17.8%)과 큰 교란을 일관되게 적용한 경우(22.7%)보다 뚜렷한 향상이 있었다.
• 커리큘럼로 훈련된 정책는 뛰어난 일반화 능력을 보였으며, 훈련한 지형보다 20% 더 어려운 지형에서도 94.5%의 성능을 유지하여 강건성과 적응 능력을 입증했다.
• 가장 어려운 지형에서 훈련된 정책는 더 쉬운 지형에서는 오버피팅 현상을 보였으며, 갈림길 정책는 난이도가 낮은 지형에서 뿐만 아니라 15.4%의 성능에 머물렀다. 이는 최종 훈련 난이도에 민감함을 시사한다.
• 이 방법은 평탄한 지형, 갈림길, 장애물, 계단, 계단 단계의 다섯 가지 다른 지형 유형에 대해 각각 고성능의 별도 정책을 성공적으로 훈련시켜 유연성과 확장 가능성의 가능성을 입증했다.