[논문 리뷰] Meta Reinforcement Learning with Task Embedding and Shared Policy

Lin Lan, Zhenguo Li외 2명|arXiv (Cornell University)|2019. 05. 16.

Reinforcement Learning in Robotics참고 문헌 29인용 수 9

한 줄 요약

이 논문은 메타학습된 작업 인코더와 공유 정책을 통해 작업의 개별성과 공통성을 명시적으로 모델링하는 TESP라는 메타강화학습 방법을 제안한다. 작업 인코더를 학습 가능한 SGD 최적화기로 적응시키고, 단일 정책을 작업 임bedding에 조건화함으로써 TESP는 훈련 및 분포 외 신규 작업 모두에서 베이스라인 대비 최대 3–4배 높은 수익을 달성하며, 뛰어난 데이터 효율성과 일반화 능력을 입증한다.

ABSTRACT

Despite significant progress, deep reinforcement learning (RL) suffers from data-inefficiency and limited generalization. Recent efforts apply meta-learning to learn a meta-learner from a set of RL tasks such that a novel but related task could be solved quickly. Though specific in some ways, different tasks in meta-RL are generally similar at a high level. However, most meta-RL methods do not explicitly and adequately model the specific and shared information among different tasks, which limits their ability to learn training tasks and to generalize to novel tasks. In this paper, we propose to capture the shared information on the one hand and meta-learn how to quickly abstract the specific information about a task on the other hand. Methodologically, we train an SGD meta-learner to quickly optimize a task encoder for each task, which generates a task embedding based on past experience. Meanwhile, we learn a policy which is shared across all tasks and conditioned on task embeddings. Empirical results on four simulated tasks demonstrate that our method has better learning capacity on both training and novel tasks and attains up to 3 to 4 times higher returns compared to baselines.

연구 동기 및 목표

• 기존 메타강화학습 방법이 작업의 개별성(특수성)과 공통성(공유 구조)을 명시적으로 모델링하는 데에 한계를 지닌다는 문제를 해결한다.
• 작업별 적응과 공유 정책 학습을 분리함으로써 메타강화학습의 데이터 효율성과 일반화 능력을 향상시킨다.
• 과거 경험에서 파생된 작업 인코더를 학습시켜 새로운 작업에 빠르게 적응할 수 있도록 한다.
• 공유 파rameter를 사용해 다양한 작업 분포를 통해 일반화되는 정책을 훈련시킴으로써 분포 이탈에 대한 강건성을 향상시킨다.

제안 방법

• 과거 경험을 저장한 에피소드 버퍼에서 잠재 작업 임베딩을 생성하는 작업 인코더 네트워크를 도입한다.
• 각 작업의 경험에 기반해 작업 인코더를 신속히 적응시킬 수 있도록 학습 가능한 SGD 최적화기를 메타학습자로 훈련시킨다.
• 모든 작업에 대해 단일 공유 정책을 사용하며, 관측값과 작업 임베딩에 조건화되어 행동을 생성한다.
• 작업 인코더의 신속한 적응과 높은 누적 수익을 장려하는 손실 함수를 사용해 메타학습자를 최적화한다.
• 메타학습자의 최적화 과정에서 각 파라미터별로 적응 가능한 학습률을 적용해 수렴성과 안정성을 향상시킨다.
• 과적합을 방지하고 일반화 능력을 향상시키기 위해 작업 인코더 적응 과정에 정규화 항목을 도입한다.

실험 결과

연구 질문

• RQ1 메타학습된 작업 인코더를 통해 작업의 개별성을 명시적으로 모델링하면 훈련 및 신규 작업에서 메타강화학습 성능이 향상되는가?
• RQ2 작업별 적응(작업 인코더를 통한)과 공유 정책 학습을 분리함으로써 분포 외 작업에 대한 일반화 능력에 어떤 영향을 미치는가?
• RQ3 작업 임베딩에 조건화된 공유 정책은 작업별 정책보다 더 뛰어난 데이터 효율성과 더 빠른 적응 능력을 제공하는가?
• RQ4 모든 경험을 사용하는 것보다 과거 경험의 에피소드 버퍼를 사용할 경우, 작업 임베딩의 품질이 얼마나 향상되는가?
• RQ5 메타최적화 과정에서 적응 가능한 학습률과 정규화가 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• TESP는 훈련 및 신규 작업 모두에서 베이스라인 대비 최대 3–4배 높은 누적 수익을 달성하며 뛰어난 학습 능력을 입증한다.
• 분포 외 작업(D'')에서 TESP는 강력한 성능을 유지하지만, 베이스라인은 과적합되어 심하게 성능이 저하되며, 이는 더 나은 일반화 능력을 보여준다.
• TESP는 훈련 작업과 분포 외 작업 간 성능 격차가 베이스라인보다 작아, 더 뛰어난 강건성을 나타낸다.
• 아블레이션 연구 결과, 공유 정책과 정규화 항목이 특히 알려지지 않은 작업 분포에서 일반화에 핵심적임을 확인한다.
• 적응 가능한 학습률을 갖춘 메타학습된 SGD 최적화기를 사용할 경우, 더 안정적인 수렴과 낮은 랜덤 시드에 따른 변동성을 보였다.
• 에피소드 버퍼를 제거하거나 모든 경험(상위-M개 에피소드가 아닌)을 사용할 경우 성능이 저하되며, 이는 작업 임베딩 학습에서 경험의 선택적 활용이 중요함을 보여준다.