[논문 리뷰] Rapidly Adaptable Legged Robots via Evolutionary Meta-Learning

Xingyou Song, Yuxiang Yang외 5명|arXiv (Cornell University)|2020. 03. 02.

Reinforcement Learning in Robotics참고 문헌 45인용 수 11

한 줄 요약

이 논문은 배치 하이어클리밍(BHC)과 진화 전략 기반 메타학습(ES-MAML)을 결합한 노이즈에 강건한 진화적 메타학습 프레임워크를 제안하여 다리가 달린 로봇이 실세계 조건의 동적 변화에 빠르게 적응할 수 있도록 한다. 이 방법은 실세계 데이터 3분 미만으로도 강력한 적응을 달성하며, 배터리 수준의 변동성과 미끄러운 표면과 같은 높은 노이즈 환경에서 기울기 기반 MAML 접근법보다 뛰어난 성능을 보인다.

ABSTRACT

Learning adaptable policies is crucial for robots to operate autonomously in our complex and quickly changing world. In this work, we present a new meta-learning method that allows robots to quickly adapt to changes in dynamics. In contrast to gradient-based meta-learning algorithms that rely on second-order gradient estimation, we introduce a more noise-tolerant Batch Hill-Climbing adaptation operator and combine it with meta-learning based on evolutionary strategies. Our method significantly improves adaptation to changes in dynamics in high noise settings, which are common in robotics applications. We validate our approach on a quadruped robot that learns to walk while subject to changes in dynamics. We observe that our method significantly outperforms prior gradient-based approaches, enabling the robot to adapt its policy to changes based on less than 3 minutes of real data.

연구 동기 및 목표

• 기울기 기반 방법이 보상 신호의 신뢰성이 떨어져 실패하는 노이즈가 많은 실세계 로봇 환경에서 빠른 정책 적응 문제를 해결하기 위해.
• 하드웨어 변동성, 센서 노이즈, 환경적 요란함으로 인한 높은 확률적 요동이 있는 상황에서 메타학습된 정책의 강건성을 향상시키기 위해.
• 실세계 노이즈 상황에서 표준 평균화 및 기울기 기반 방법보다 뛰어난 성능을 보이는 비미분 가능하고 데이터 효율적인 적응 연산자 개발을 위해.
• 저전압 및 추가 적재와 같은 극단적인 동역학 변화가 발생하는 실세계 조건에서 실제 4족 보행 로봇(Minitaur)에서 방법을 검증하기 위해.
• 진화적 메타학습과 BHC를 활용할 경우, 분포 외 환경에서 최신의 PG-MAML 방법보다 더 빠르고 신뢰성 있는 적응이 가능함을 입증하기 위해.

제안 방법

• 다양한 변형된 정책 파라미터를 동시에 평가하는 비미분 가능하고 노이즈에 강건한 적응 연산자로 배치 하이어클리밍(BHC)을 도입한다.
• BHC를 진화 전략 기반 메타학습(ES-MAML)과 융합하여 정책 파라미터의 메타최적화를 통해 신속한 적응을 가능하게 한다.
• 높은 노이즈 환경에서의 결정론적 적응에 더 적합한 안정적인 선형 정책을 사용한다.
• 적응 과정에서 표본 효율성을 향상시키고 보상 추정의 분산을 줄이기 위해 평행 평가(P)를 수행한다.
• 메타학습 기간 동안 정책 파라미터에 정규분포 변형을 적용하고, 변형된 배치의 보상 최대화를 통해 적응을 이끈다.
• 실세계의 확률적 특성을 모의하기 위해 관측 노이즈와 무작위 힘을 증가시킨 시뮬레이션에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 BHC와 같은 비미분 가능하고 노이즈에 강건한 적응 연산자가 실세계 로봇 적응에서 기울기 기반 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 BHC를 ES-MAML에 통합할 경우, 실세계 환경에서 PG-MAML에 비해 더 빠르고 신뢰성 있는 동역학 변화 적응이 가능한가?
• RQ3 노이즈가 많은 환경에서 BHC의 성능은 다수의 롤아웃에서 보상 평균화와 비교해 어떻게 되는가?
• RQ4 순수하게 시뮬레이션에서 학습된 정책이 저전압 및 추가 적재와 같은 실세계 동역학 변화에 효과적으로 적응할 수 있는가?
• RQ5 BHC 연산자에서 평행 평가 수(P)가 증가함에 따라 적응 성능이 비례 증가하는가?

주요 결과

• 제안된 방법은 실세계 데이터 3분 미만으로도 뛰어난 적응 성과를 달성하였으며, 모든 테스트된 실세계 시나리오에서 PG-MAML를 능가하였다.
• Minitaur 로봇에서 10V 전압 하강과 500g 적재를 성공적으로 적응하여 성능을 열악한 보행에서 안정된 보행으로 향상시켰다.
• 배치 하이어클리밍은 평균 기반 하이어클리밍보다 우수한 성능를 보였으며, P > 5일 경우에 특히 뛰어난 노이즈 내성과 적응 성과를 보였다.
• 매우 높은 노이즈가 있는 시뮬레이션(Minitaur-Noisy) 환경에서 BHC는 분산을 줄이며 높은 적응 성능를 유지했으며, 평균화 방법과 비교해도 유사한 최종 성능를 보였다.
• 극한의 시험 환경에서 방법은 효과적으로 적응하여 유니폼 테스트 성능 수준에 도달했으며, PG-MAML는 성능 향상이 이루어지지 않았다.
• 메소드는 미끄러운 표면과 큰 외란이 있는 분포 외 동역학에 대해 강력한 일반화 성능를 보였으며, PG-MAML는 노이즈가 많은 기울기 추정으로 실패하였다.