[논문 리뷰] ALLSTEPS: Curriculum-driven Learning of Stepping Stone Skills

Zhaoming Xie, Hung Yu Ling외 2명|arXiv (Cornell University)|2020. 05. 09.

Human Motion and Animation참고 문헌 37인용 수 5

한 줄 요약

이 논문은 운동 캡처 데이터 없이도 이착륙 기반의 물리 기반 보행을 학습할 수 있는 커리큘럼 기반 딥 강화학습 프레임워크인 ALLSTEPS를 제안한다. 네 가지 커리큘럼 전략을 통해 점진적으로 과제의 난이도를 높임으로써, 인간형, 시뮬레이션된 이족 보행 로봇(Cassie), 몬스터 캐릭터 등 다양한 캐릭터에서 효율적인 학습과 일반화를 달성하였으며, 정규화되지 않은 불규칙한 지형으로의 정책 전이도 가능하다.

ABSTRACT

Humans are highly adept at walking in environments with foot placement constraints, including stepping-stone scenarios where the footstep locations are fully constrained. Finding good solutions to stepping-stone locomotion is a longstanding and fundamental challenge for animation and robotics. We present fully learned solutions to this difficult problem using reinforcement learning. We demonstrate the importance of a curriculum for efficient learning and evaluate four possible curriculum choices compared to a non-curriculum baseline. Results are presented for a simulated human character, a realistic bipedal robot simulation and a monster character, in each case producing robust, plausible motions for challenging stepping stone sequences and terrains.

연구 동기 및 목표

• 물리 기반 시뮬레이션에서 복잡한 이착륙 보행을 학습하기 위한 일반화 가능하고 데이터가 없는 방법을 개발하는 것.
• 어려운 이족 보행 과제에서 커리큘럼 설계가 학습 효율성과 정책 품질에 미치는 영향을 조사하는 것.
• 사전에 계획된 발자국 배치가 있는 연속적이고 불규칙한 지형으로 학습된 이착륙 정책의 전이 가능성에 대한 증명.
• 학습 알고리즘의 제약이 아닌 캐릭터의 생체역학적 한계를 반영하는 현실적이고 물리적으로 일관된 동작을 생성하는 것.
• 오직 강화학습과 보상 형태 조정만을 사용하여 다양한 제약이 있는 지형에서 강건한 탐색을 가능하게 하는 것.

제안 방법

• 딥 강화학습을 활용하며, 균형, 진전, 에너지 효율성에 중점을 두고 보상 함수를 설계하였고, 넘어짐과 과도한 에너지 소비에는 벌점을 적용한다.
• 커리큘럼 전략을 통해 단계적으로 과제 난이도를 높이며, 스텝 높이, 거리, 복잡도를 조절한다. 초기에는 단순한 평탄한 순서에서 시작한다.
• 네 가지 다른 커리큘럼을 평가: 고정 진전, 적응형 난이도 추정, 성공 기반 진전, 난이도 필터링이 적용된 무작위 샘플링.
• 정책은 향후 스텝을 예측하기 위해 이중 단계의 봉착 예측을 사용하며, 인간의 반응 시간을 모방하고 운동의 보수성을 조절하기 위해 설정 가능한 봉착 지연 시간을 제공한다.
• 보상 함수에는 '생존 보너스'가 포함되어 있어 최소 허리 높이를 유지하도록 유도하여 안정적이고 우아한 보행을 장려하고, 발끝으로 걷거나 낮추어진 자세를 방지한다.
• 정책은 물리 엔진을 사용한 시뮬레이션에서 훈련되며, 이중 이산적인 이착륙 스텝 순서와 연속적인 불규칙한 지형에서의 전이 가능성도 테스트한다.

실험 결과

연구 질문

• RQ1 딥 강화학습만으로도 운동 캡처 데이터 없이 강건하고 현실적인 이착륙 보행을 학습할 수 있는가?
• RQ2 커리큘럼 학습이 시뮬레이션에서 복잡한 이족 보행 과제의 학습 효율성과 성공률에 어떤 영향을 미치는가?
• RQ3 고정, 적응형, 성공 기반, 또는 필터링이 적용된 무작위 샘플링 중 어떤 커리큘럼 전략이 가장 효과적이고 일반화 가능한 정책을 도출하는가?
• RQ4 학습된 이착륙 정책이 사전에 계획된 발자국 배치가 있는 연속적이고 불규칙한 지형으로 얼마나 잘 전이되는가?
• RQ5 다양한 캐릭터 형태(인간형, Cassie, 몬스터)가 정책 행동과 학습 역학에 어떤 영향을 미치는가?

주요 결과

• 커리큘럼 기반 접근 방식은 비커리큘럼 기반 베이스라인보다 유의미하게 뛰어난 성능을 보였으며, 이로 인해 이전에는 도달할 수 없었던 복잡한 이착륙 과제의 학습이 가능해졌다.
• 수평 이동과 직선 이동 거리 기반의 난이도 추정을 통해 과제 난이도를 적응적으로 조절하는 적응형 커리큘럼 전략은 다양한 캐릭터에서 뛰어난 성능과 확장성을 보였다.
• 인간형은 향후 스텝 조합에 따라 보행 타이밍을 조절하는 민첩한 보행을 학습한 반면, Cassie는 고정된 타이밍으로 인해 한 스텝씩만 예측하는 더 신중한 보행 방식을 보였다.
• 30프레임의 봉착 지연 시간을 사용할 경우 평균 보행 속도는 1.35 m/s를 기록했으며, 인간의 보행 속도와 유사했고, 지연 시간을 줄이면 2.10 m/s까지 가속화 가능했다.
• 사전에 계획된 발자국 배치가 있는 연속적 지형으로의 일반화 성능이 뛰어나, 이산적인 이착륙 시나리오를 넘어서는 전이 가능성도 입증되었다.
• 스토캐스틱한 변동이 존재하더라도 정책은 일관되게 현실적이고 물리적으로 일관된 동작을 생성하였으며, 에너지 벌점으로 인해 인간형 캐릭터는 팔을 모아 올리는 자세를 선호하는 경향을 보였다.