[논문 리뷰] Learning Fast Adaptation with Meta Strategy Optimization

Wenhao Yu, Jie Tan외 3명|arXiv (Cornell University)|2019. 09. 28.

Robotic Locomotion and Control참고 문헌 37인용 수 12

한 줄 요약

이 논문은 메타학습 알고리즘인 메타 전략 최적화(MSO)를 제안한다. MSO는 잠재 변수 입력을 통해 정책을 훈련시켜, 기존 환경과는 다른 동역학적 특성(예: 경사면, 손상된 모터 등)을 가진 새로운 환경으로의 빠른 적응을 가능하게 하며, 실제 환경에서 15회의 롤아웃만으로도 이를 달성한다. 훈련 및 추론 과정에서 동일한 적응 과정(전략 최적화)을 노출시킴으로써 MSO는 샘플 효율적이고 높은 성능을 보이는 견고한 잠재 공간을 학습하며, 도메인 랜덤라이제이션 및 기준 메타-강화학습 방법보다 시뮬레이션 및 실제 허프족 로봇 실험에서 모두 뛰어난 성능을 보인다.

ABSTRACT

The ability to walk in new scenarios is a key milestone on the path toward real-world applications of legged robots. In this work, we introduce Meta Strategy Optimization, a meta-learning algorithm for training policies with latent variable inputs that can quickly adapt to new scenarios with a handful of trials in the target environment. The key idea behind MSO is to expose the same adaptation process, Strategy Optimization (SO), to both the training and testing phases. This allows MSO to effectively learn locomotion skills as well as a latent space that is suitable for fast adaptation. We evaluate our method on a real quadruped robot and demonstrate successful adaptation in various scenarios, including sim-to-real transfer, walking with a weakened motor, or climbing up a slope. Furthermore, we quantitatively analyze the generalization capability of the trained policy in simulated environments. Both real and simulated experiments show that our method outperforms previous methods in adaptation to novel tasks.

연구 동기 및 목표

• 훈련 중에 관찰하지 못한 새로운 환경에서 동역학적 특성 또는 보상 함수가 다를 경우에도 다리 달린 로봇 정책를 배포하는 데 도전하는 것.
• 실제 환경에서의 적응에 있어 샘플 효율성을 향상시켜 성공적인 정책 전이를 위해 필요한 실제 롤아웃 수를 최소화하는 것.
• 추론 시 빠른 온정책 적응이 가능한 잠재 전략 공간을 학습하는 메타학습 프레임워크를 개발하는 것.
• 어려운 제어 과제(예: 경사면 등반, 손상된 모터로 보행)에 대한 견고한 시뮬레이션에서 실제 환경으로의 전이 및 적응을 가능하게 하는 것.
• 훈련 및 테스트 시 동일한 적응 메커니즘을 노출시키는 것이 일반화 및 적응 성능을 향상시키는 데 기여함을 보여주는 것.

제안 방법

• MSO는 저차원의 잠재 코드로 조절되는 정책을 훈련시키며, 이 잠재 코드는 메타훈련 및 실제 환경 적응 과정에서 전략 최적화(SO)를 통해 최적화된다.
• 메타훈련 기간 동안 알고리즘은 다양한 환경의 분포를 정책에 노출시키며, 각 작업에 대해 다수의 에피소드를 사용하여 SO를 통해 빠른 적응을 지원하는 잠재 공간을 최적화한다.
• 추론 과정에서는 실시간 로봇에서 샘플 기반 최적화(SO)를 사용해 잠재 코드를 직접 적응시키며, 단지 15개의 에피소드만으로도 새로운 행동으로의 신속한 수렴을 이룬다.
• 이 방법은 빠른 적응에 적합하도록 명시적으로 훈련된 잠재 공간을 사용하여 다양한 동역학 및 보상 함수 간의 일반화 능력을 향상시킨다.
• 초기화 조정에 대해 강건한 알고리즘으로, 에피소드 수, 잠재 차원, SO 빈도 등의 설정에 관계없이 안정적인 성능을 보임을 아블레이션 연구를 통해 입증하였다.
• MSO는 시뮬레이션 및 실제 허프족 로봇 모두에서 평가되었으며, 실제 로봇(Minitaur)과 시뮬레이션된 Hopper 환경을 사용하여 성능를 검증하였다.

실험 결과

연구 질문

• RQ1 메타-강화학습 접근법이 실제 다리 달린 로봇 제어에서 최소한의 실제 롤아웃 수로 새로운 동역학 및 보상 함수에 대해 빠른 적응을 달성할 수 있는가?
• RQ2 훈련 및 테스트 시 동일한 적응 과정(SO)을 노출시키는 것이 정책 적응의 일반화 및 샘플 효율성에 어떤 영향을 미치는가?
• RQ3 MSO는 시뮬레이션에서 실제 환경으로의 전이 및 새로운 과제 적응에서 도메인 랜덤라이제이션 및 MAML과 같은 기반 기반 메타-강화학습 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 MSO는 적응 에피소드 수, 잠재 차원, SO 빈도 등의 초기화 조정에 얼마나 민감한가?
• RQ5 MSO는 시뮬레이션 및 실제 하드웨어 모두에서 경사면 등반, 손상된 모터 작동, 물체 운반 등의 복잡한 과제에 대해 성공적으로 정책을 적응시킬 수 있는가?

주요 결과

• MSO는 실제 허프족 로봇에서 경사면 등반 및 손상된 모터 작동과 같은 새로운 과제에 대해 단지 15회의 롤아웃(75초의 데이터)으로 성공적인 적응을 달성했다.
• 시뮬레이션 환경에서는 MSO가 도메인 랜덤라이제이션 및 프로젝션된 유니버설 정책 기준선 모두보다 새로운 동역학 및 보상에 대한 일반화 능력에서 뛰어난 성능을 보였다.
• Hopper 과제에서 MSO는 MAML 및 NoRML보다 훈련 및 일반화 성능 모두에서 뚜렷한 우월성을 보였으며, 특히 동역학 범위가 확장된 조건에서 두각을 나타냈다.
• 훈련 시 SO에 대해 단 한 개의 에피소드만 허용된 경우에도 MSO는 도메인 랜덤라이제이션을 초월하여 성능을 발휘하였으며, 이는 적응을 위한 잠재 공간 학습의 가치를 시사한다.
• 아블레이션 연구를 통해 MSO는 에피소드 수, 잠재 차원, SO 빈도 등의 설정 변화에 대해 매우 강건하며, 성능 저하가 최소한이었음을 확인하였다.
• MSO는 물체 운반 행동을 안정화시켜 추락을 방지하였으며, 기준 방법들은 유사 조건에서 안정성을 유지하지 못했다.