[논문 리뷰] Continual Learning Using World Models for Pseudo-Rehearsal

Nicholas Ketz, Soheil Kolouri외 1명|arXiv (Cornell University)|2019. 03. 06.

Model Reduction and Neural Networks참고 문헌 31인용 수 4

한 줄 요약

이 논문은 태스크 분할 없이 세계 모델에 대한 지속적 학습을 위한 레이블 없는 방법을 제안하며, 과거 경험의 내부적으로 생성된 롤아웃을 실제 환경 상호작용과 번갈아가며 사용하여 치명적인 잊음( catastrophic forgetting)을 방지한다. 이 방법은 태스크 분할 없이 연속적인 Atar이 게임에서 안정적인 비지도 시계열 예측과 부분적인 지속적 학습을 가능하게 하여 정책 그래เดียน트 에이전트의 성능을 유지한다.

ABSTRACT

The utility of learning a dynamics/world model of the environment in reinforcement learning has been shown in a many ways. When using neural networks, however, these models suffer catastrophic forgetting when learned in a lifelong or continual fashion. Current solutions to the continual learning problem require experience to be segmented and labeled as discrete tasks, however, in continuous experience it is generally unclear what a sufficient segmentation of tasks would be. Here we propose a method to continually learn these internal world models through the interleaving of internally generated episodes of past experiences (i.e., pseudo-rehearsal). We show this method can sequentially learn unsupervised temporal prediction, without task labels, in a disparate set of Atari games. Empirically, this interleaving of the internally generated rollouts with the external environment's observations leads to a consistent reduction in temporal prediction loss compared to non-interleaved learning and is preserved over repeated random exposures to various tasks. Similarly, using a network distillation approach, we show that modern policy gradient based reinforcement learning algorithms can use this internal model to continually learn to optimize reward based on the world model's representation of the environment.

연구 동기 및 목표

• 태스크 분할이 필요 없이 생애주기 강화학습에서 치명적인 잊음을 해결하기 위해.
• 의사-재생이 연속적이고 레이블이 없는 환경에서 세계 모델 성능을 유지하는 데 효과적인지 탐색하기 위해.
• 내부 세계 모델이 딥 강화학습 에이전트의 지속적 정책 학습을 지원하는 데 유용한지 평가하기 위해.
• 시뮬레이션된 롤아웃이 표현 안정성 유지 및 전이 가능성 향상에 기여하는 역할을 탐구하기 위해.

제안 방법

• 세계 모델 아키텍처(M)를 사용하여 원시 픽셀 전이 데이터를 기반으로 미래 상태, 행동, 보상을 예측한다.
• 의사-재생은 보존된 세계 모델 복제본(M*)에서 생성한 시뮬레이션된 롤아웃을 실제 경험과 번갈아가며 훈련 중에 통합함으로써 구현된다.
• 내부 모델은 실제 및 시뮬레이션 전이 모두에 대해 비지도 시계열 예측 손실을 기반으로 훈련된다.
• 별도의 에이전트(C)는 정책 그래디언트 방법을 사용하여 훈련되며, 결정 부여를 위한 세계 모델의 잠재 표현을 입력으로 사용한다.
• 훈련 과정은 실제 및 시뮬레이션 데이터를 모두 사용하여 세계 모델과 에이전트를 번갈아가며 업데이트한다.
• 환경 스트림을 연속적이고 레이블이 없는 경험의 시퀀스로 간주함으로써 태스크 레이블링을 피한다.

실험 결과

연구 질문

• RQ1 태스크 분할 없이 연속적이고 레이블이 없는 환경에서 의사-재생이 세계 모델 학습을 안정화시킬 수 있는가?
• RQ2 실제 경험과 시뮬레이션된 롤아웃을 번갈아가며 통합함으로써 시간이 지남에 따라 시계열 예측 손실에 어떤 영향을 미치는가?
• RQ3 내부 세계 모델이 강화학습 에이전트의 지속적 정책 학습을 어느 정도 지원할 수 있는가?
• RQ4 의사-재생 롤아웃의 품질과 세계 모델의 성능 유지도 간의 관계는 어떠한가?
• RQ5 이 방법은 명시적인 태스크 경계 없이 서로 다른 Atar이 게임 간 지식 전이를 가능하게 하는가?

주요 결과

• 의사-재생을 통한 번갈아가며 훈련은 반복적인 노출 동안 비의사-재생 훈련 대비 일관된 시계열 예측 손실 감소를 이끌어냈다.
• 새로운 태스크에 대한 다수의 무작위 노출 이후에도 이전에 본 Atar이 게임에서 세계 모델이 안정된 성능을 유지하여 치명적인 잊음 감소를 시사했다.
• 제어 에이전트의 경우, Task 1(River Raid)에서 의사-재생이 누적 보상을 향상시켰으며, 비의사-재생 훈련에서는 후속 에포크에서 명백한 성능 저하가 관찰되었다.
• 보상이 없는 Task 2(Tutankham)에서는 유의미한 성능 차이가 없었으며, Task 3(Crazy Climber)는 낮은 복잡성 또는 높은 변동성으로 인해 눈에 띄는 이점이 없었다.
• 결과적으로 세계 모델는 의사-재생에서 크게 유리함을 보였지만, 에이전트의 지속적 학습은 행동 공간 표현 방식 및 훈련 동역학과 같은 아키텍처 선택에 더 민감한 것으로 나타났다.
• 본 연구는 의사-재생이 특히 비지도 세계 모델 훈련을 위한 레이블 없는 지속적 학습 환경에서 효과적일 수 있음을 입증한다.