[논문 리뷰] Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2

Zachary Daniels, Aswin Raghavan외 5명|arXiv (Cornell University)|2022. 08. 09.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 깊이 강화 학습 정책 잠재 표현의 내성적 밀도 모델링을 사용하여 치명적 망각을 방지하는 모델 프리 생성 재생 프레임워크를 제안한다. 각각의 각성-수면 주기와 수면 단계의 생성 모델, 무작위 재생 버퍼를 결합함으로써, 이 방법은 단지 6%의 학습 샘플만을 사용하여 스타크래프트 II에서 전문가 성능의 80–90%를 달성하였으며, 은닉 재생 아키텍처는 더 뛰어난 안정성과 일반화 성능을 보였다.

ABSTRACT

One approach to meet the challenges of deep lifelong reinforcement learning (LRL) is careful management of the agent's learning experiences, to learn (without forgetting) and build internal meta-models (of the tasks, environments, agents, and world). Generative replay (GR) is a biologically inspired replay mechanism that augments learning experiences with self-labelled examples drawn from an internal generative model that is updated over time. We present a version of GR for LRL that satisfies two desiderata: (a) Introspective density modelling of the latent representations of policies learned using deep RL, and (b) Model-free end-to-end learning. In this paper, we study three deep learning architectures for model-free GR, starting from a naïve GR and adding ingredients to achieve (a) and (b). We evaluate our proposed algorithms on three different scenarios comprising tasks from the Starcraft-2 and Minigrid domains. We report several key findings showing the impact of the design choices on quantitative metrics that include transfer learning, generalization to unseen tasks, fast adaptation after task change, performance wrt task expert, and catastrophic forgetting. We observe that our GR prevents drift in the features-to-action mapping from the latent vector space of a deep RL agent. We also show improvements in established lifelong learning metrics. We find that a small random replay buffer significantly increases the stability of training. Overall, we find that "hidden replay" (a well-known architecture for class-incremental classification) is the most promising approach that pushes the state-of-the-art in GR for LRL and observe that the architecture of the sleep model might be more important for improving performance than the types of replay used. Our experiments required only 6% of training samples to achieve 80-90% of expert performance in most Starcraft-2 scenarios.

연구 동기 및 목표

• 기존에 학습한 과제들에서의 지식을 유지함으로써 생애 주기 강화 학습(LRL)에서 치명적 망각 문제를 해결한다.
• 명시적 동역학 모델링과 보상 함수 학습을 피하는 모델 프리, 종단 간 엔드 투 엔드 접근법을 개발한다.
• 고차원 관측 분포에 의존하지 않고도 기억 강화를 향상시키기 위해 정책 표현의 내성적 밀도 모델링을 가능하게 한다.
• 스타크래프트 II 및 미니그리드와 같은 복잡한 환경에서 순차적 과제 간의 일반화 능력과 신속한 적응 능력을 향상시킨다.
• 재생 아키텍처와 보조 구성 요소(예: 무작위 재생)가 생애 주기 학습 성능 지표에 미치는 영향을 조사한다.

제안 방법

• 각성-수면 주기 프레임워크를 활용: 각성 단계에서는 표준 딥 강화 학습을 통해 현재 과제를 학습하고, 수면 단계에서는 저장된 경험에 대해 생성 모델을 훈련한다.
• 변동형 오토인코더(VAE)를 사용하여 정책 네트워크의 잠재 표현의 밀도를 모델링함으로써, 관측-행동 쌍의 자기 지도적 재생을 가능하게 한다.
• 과거 정책들로부터의 지식 전이를 위해 정책 정수화를 구현하여 절차적 지식을 통합한다.
• 특징 공간 정렬을 안정화하기 위해 원본 관측-행동 쌍의 작은 무작위 재생 버퍼를 도입한다.
• 세 가지 아키텍처—단순 GR, 은닉 재생, 이두개 GR—을 각각 각성-수면 프레임워크 내에서 평가하여 생성 재생의 효과를 비교한다.
• 주성분 분석(PCA)을 사용하여 잠재 공간 내에서 진짜 값, 재구성된 값, 생성된 특징을 시각화하고 비교한다.

실험 결과

연구 질문

• RQ1 잠재 표현을 사용한 모델 프리 생성 재생이 생애 주기 딥 강화 학습에서 치명적 망각을 완화할 수 있는가?
• RQ2 원시 궤적 또는 관측값의 직접 재생과 비교해 정책 잠재 상태의 내성적 밀도 모델링은 어떻게 다른가?
• RQ3 생성 재생과 무작위 재생 버퍼를 조합했을 때 특징 공간의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 생성 재생 아키텍처(예: 은닉 재생 대비 이두개)는 전이, 일반화, 망각 지표에 어떤 영향을 미치는가?
• RQ5 이러한 생성 재생 기반에서 소량의 학습 데이터(예: 6%)가 전문가 수준의 성능을 달성할 수 있는가?

주요 결과

• 은닉 재생 아키텍처가 가장 뛰어난 성능을 보였으며, 망각을 크게 줄이고 과제 간 전이 및 일반화 능력을 향상시켰다.
• 단지 6%의 학습 샘플만을 사용하여, 대부분의 스타크래프트 II 시나리오에서 전문가 성능의 80–90%를 달성하였다.
• 무작위 재생 버퍼를 은닉 재생과 조합했을 때, 성능 지표(PM, FTR)가 향상되었고 특징 공간 정렬이 안정화되어 과제 간 이격도가 감소하였다.
• PCA 시각화를 통해 무작위 재생을 은닉 재생과 함께 사용했을 때, 상이한 과제 간 분포가 중첩되는 것으로 나타나 특징 공간 정렬이 크게 향상됨을 확인하였다.
• 생성 모델은 의미 있는 잠재 특징을 성공적으로 재구성하고 생성하였으며, 'DefeatRoaches' 과제에서 재구성된 특징이 진짜 값 특징과 매우 유사하게 나타났다.
• 수면 단계의 생성 모델은 이전 과제들로부터의 지식을 효과적으로 통합하여, 정책 정수화를 통해 새로운 과제에 대한 빠른 적응을 가능하게 하였다.