[논문 리뷰] Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

Maruan Al-Shedivat, Trapit Bansal외 4명|arXiv (Cornell University)|2017. 10. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 157

한 줄 요약

이 논문은 비정상적(nonstationary) 및 경쟁적인 RL에서 연속적 적응을 그래디언트 기반 메타 학습으로 공식화하고, RoboSumo를 도입하며, 메타-학습된 적응이 few-shot 설정과 iterated multi-agent games에서 반응형 baselines보다 우수한 성능을 보임을 보여준다.

ABSTRACT

Ability to continuously learn and adapt from limited experience in nonstationary environments is an important milestone on the path towards general intelligence. In this paper, we cast the problem of continuous adaptation into the learning-to-learn framework. We develop a simple gradient-based meta-learning algorithm suitable for adaptation in dynamically changing and adversarial scenarios. Additionally, we design a new multi-agent competitive environment, RoboSumo, and define iterated adaptation games for testing various aspects of continuous adaptation strategies. We demonstrate that meta-learning enables significantly more efficient adaptation than reactive baselines in the few-shot regime. Our experiments with a population of agents that learn and compete suggest that meta-learners are the fittest.

연구 동기 및 목표

• 비정상적인 환경에서의 학습-학습으로의 지속적 적응 Casting continuous adaptation as learning-to-learn for nonstationary environments.
• RL 태스크에서 신속한 적응에 적합한 그래디언트 기반 메타 학습 알고리즘 개발.
• 적응 다이나믹을 평가하기 위한 RoboSumo, 3D 경쟁 환경 및 iterated adaptation games 도입.
• few-shot 시나리오에서 반응형 baselines보다 더 효율적인 적응 달성 보여주기.
• 시간에 따른 적응 전략이 지배하는지 평가하기 위한 인구 규모 다이내믹스 탐구

제안 방법

• 다변(Task) RL에서의 MAML을 확률적 관점에서 재도출하고 동적 태스크 변화로 확장한다.
• 초기 정책 매개변수에서 태스크-특정 정책으로의 그래디언트 스텝을 매핑하는 적응 업데이트를 정의한다.
• 연속된 태스크 쌍에 대해 메타-손실을 계산하여 기본 파라미터와 적응 파라미터를 함께 학습한다.
• 메타 업데이트를 위한 2차 도함수 계산을 포함하는 이중 시간 규모의 학습 및 실행 절차를 구현한다.
• 실행 시 데이터 쉬프트를 다루기 위한 중요도 가중치를 활용한 적응 도입.
• 세 가지 보행(nonstationary) 환경과 RoboSumo 다중 에이전트 설정에서 반복된 적응 게임을 포함하여 평가한다.

실험 결과

연구 질문

• RQ1 그래디언트 기반 메타 학습이 reactive baselines에 비해 비정상적이거나 적대적으로 변화하는 환경에 더 빠르고 견고한 적응을 가능하게 하는가?
• RQ2 단일 에이전트 보행 및 경쟁 다중 에이전트 게임에서 few-shot 적응 시나리오에서 메타 학습의 성능은 어떤가?
• RQ3 반복된 적응 게임이 학습 에이전트 집단에서 우수한 적응 전략의 출현을 촉진하는가?
• RQ4 비정상 RL 태스크에서 다른 정책 아키텍처와 적응 단계가 적응 성능에 미치는 영향은 무엇인가?

주요 결과

• 메타 학습된 적응은 단일 에이전트 보행과 RoboSumo 설정 모두에서 few-shot 규칙에서 반응형 baselines를 크게 능가한다.
• 메타 학습을 통한 적응은 에이전트가 환경 변화를 예측하고 몇 차례의 경험만으로 정책을 효과적으로 업데이트하도록 한다.
• 반복된 적응 게임에서 메타 학습된 전략은 종종 더 높은 승률을 달성하고 상대가 라운드를 진행함에 따라 베이스라인을 지배한다.
• 다양한 인구 실험은 메타 학습된 적응 전략이 세대에 걸쳐 최적으로 진화한다는 것을 시사한다.