[논문 리뷰] Curriculum in Gradient-Based Meta-Reinforcement Learning

Bhairav Mehta, Tristan Deleu외 3명|arXiv (Cornell University)|2020. 02. 19.

Reinforcement Learning in Robotics참고 문헌 32인용 수 8

한 줄 요약

이 논문은 메타오버피팅을 완화하고 일반화 성능을 향상시키기 위해 기울기 기반 메타강화학습에서 작업 분포를 최적화하는 커리큘럼 학습 방법인 메타-액티브 도메인 랜덤라이제이션(Meta-ADR)을 제안한다. 어려운 작업을 식별하기 위해 판별기(discriminator)를 사용하고, SVPG 입자들을 통해 다양하고 어려운 작업 세트를 제안함으로써 Meta-ADR는 균일한 랜덤 작업 샘플링에 비해 네비게이션 및 로케모션 벤치마크에서 적응 안정성과 성능을 크게 향상시킨다.

ABSTRACT

Gradient-based meta-learners such as Model-Agnostic Meta-Learning (MAML) have shown strong few-shot performance in supervised and reinforcement learning settings. However, specifically in the case of meta-reinforcement learning (meta-RL), we can show that gradient-based meta-learners are sensitive to task distributions. With the wrong curriculum, agents suffer the effects of meta-overfitting, shallow adaptation, and adaptation instability. In this work, we begin by highlighting intriguing failure cases of gradient-based meta-RL and show that task distributions can wildly affect algorithmic outputs, stability, and performance. To address this problem, we leverage insights from recent literature on domain randomization and propose meta Active Domain Randomization (meta-ADR), which learns a curriculum of tasks for gradient-based meta-RL in a similar as ADR does for sim2real transfer. We show that this approach induces more stable policies on a variety of simulated locomotion and navigation tasks. We assess in- and out-of-distribution generalization and find that the learned task distributions, even in an unstructured task space, greatly improve the adaptation performance of MAML. Finally, we motivate the need for better benchmarking in meta-RL that prioritizes extit{generalization} over single-task adaption performance.

연구 동기 및 목표

• 작업 분포에 민감한 기울기 기반 메타-RL의 문제를 해결하기 위해, 이는 메타오버피팅, 얕은 적응, 불안정성을 초래한다.
• 고정된 분포에서의 랜덤 샘플링에 의존하는 대신, 작업의 커리큘럼을 학습함으로써 메타-RL의 일반화를 향상시키기 위해 노력한다.
• 메타테스트 기울기 단계 이후의 부정적 적응과 성능 저하를 완화하기 위해 노력한다.
• 현재 메타-RL 벤치마킹의 결함을 부각하기 위해, 특히 비균일한 작업 샘플링으로 인한 편향된 평가를 다룬다.
• 내부 분포 적응 성능보다 외부 분포 일반화를 우선시하는 더 나은 벤치마킹 관행을 주장한다.

제안 방법

• Meta-ADR는 사전 및 사후 적응 롤아웃을 기반으로 작업 난이도를 추정하기 위해 판별기를 사용하며, 이를 프록시 보상으로 활용한다.
• 판별기의 보상 신호는 SVPG(정책 기울기와 함께 소프트 액터-크리틱) 입자들을 통해 메타학습자에게 가장 도전적인 새로운 다양성 있는 작업을 제안하도록 훈련시킨다.
• 알고리즘은 학습된 커리큘럼에서 작업을 반복적으로 샘플링하고 평가하며, 가장 높은 적응 난이도를 유발하는 작업에 집중한다.
• 메타학습자의 적응 성능과 난이도 피드백에 기반해 진화하는 커리큘럼으로 균일한 랜덤 작업 샘플링을 대체한다.
• 작업 분포는 기울기 업데이트를 통해 종단 간 최적화되며, 이로써 메타학습자는 더 넓은 범위의 작업에 더 강력하게 적응할 수 있다.
• 이 방법은 액티브 도메인 랜덤라이제이션(ADR)을 영감으로 삼지만, 메타-RL에 적합하도록 메타일반화를 향상시키는 작업 커리큘럼을 학습하는 방식으로 변형되었다.

실험 결과

연구 질문

• RQ1 작업 분포의 선택이 메타-RL 성능에 미치는 영향, 특히 메타오버피팅과 적응 안정성 측면에서 어떻게 되는가?
• RQ2 균일한 랜덤 샘플링을 초월하여 학습된 작업 커리큘럼이 기울기 기반 메타-RL의 일반화를 향상시킬 수 있는가?
• RQ3 Meta-ADR는 메타테스트 추론 중 메타-RL 에이전트의 부정적 적응을 어느 정도 감소시키는가?
• RQ4 벤치마킹 환경에서 비균일한 작업 샘플링은 보고된 학습 곡선과 성능 지표에 어떤 편향을 초래하는가?
• RQ5 현재 메타-RL 벤치마킹 관행은 진정으로 일반화 능력을 평가하는 데 어떤 영향을 미치는가?

주요 결과

• Meta-ADR는 균일한 랜덤 작업 샘플링에 비해 여러 시뮬레이션된 로케모션 및 네비게이션 작업에서 적응 성능과 안정성을 크게 향상시켰다.
• 학습된 커리큘럼은 메타오버피팅을 감소시켰으며, 메타테스트 기울기 단계 이후 정책의 성능 저하가 줄었고, 부정적 적응 사례도 감소했다.
• Humanoid-Direct-2D 벤치마크에서 Meta-ADR는 더 높은 최종 성능를 달성했고, 특히 외부 분포 설정에서 성능 변동성이 감소했다.
• 로케모션 속도 작업의 평가 결과, 균일한 샘플링은 더 쉬운 작업(예: v_t = 0)을 선호하여 진정한 일반화를 반영하지 못하는 유일한 학습 곡선을 유도했다.
• 0에 가까운 속도에서 약간 벗어난 외부 분포 작업들(예: v_t = 0.5)이 내부 분포 작업들보다 더 높은 성능를 보였으며, 이는 현재 벤치마크 작업 설계의 근본적인 결함을 시사한다.
• 이 연구는 작업 분포가 메타-RL에서 중요한 하이퍼파라미터임을 입증했으며, Meta-ADR를 통해 이를 학습하면 더 강력하고 일반화 능력이 뛰어난 정책를 도출할 수 있음을 보여준다.