[논문 리뷰] Continual State Representation Learning for Reinforcement Learning using Generative Replay

Hugo Caselles-Dupré, M. Ortíz외 1명|arXiv (Cornell University)|2018. 10. 09.

Reinforcement Learning in Robotics참고 문헌 17인용 수 19

한 줄 요약

이 논문은 재난적 기억 상실을 방지하기 위해 변분 오토에코더(VAEs)와 생성 재생 기반 지속적 상태 표현 학습 방법을 제안한다. VAE 복원 오차에 대한 웰치의 t-검정을 통해 환경 변화를 자동으로 감지하고 과거 경험 샘플을 생성함으로써, 시스템 크기를 제한하고 전방 이관을 달성한다. 강화학습 성능에서 피팅 튜닝 및 원시 입력 기준선보다 뛰어나다.

ABSTRACT

We consider the problem of building a state representation model in a continual fashion. As the environment changes, the aim is to efficiently compress the sensory state's information without losing past knowledge. The learned features are then fed to a Reinforcement Learning algorithm to learn a policy. We propose to use Variational Auto-Encoders for state representation, and Generative Replay, i.e. the use of generated samples, to maintain past knowledge. We also provide a general and statistically sound method for automatic environment change detection. Our method provides efficient state representation as well as forward transfer, and avoids catastrophic forgetting. The resulting model is capable of incrementally learning information without using past data and with a bounded system size.

연구 동기 및 목표

• 진화하는 환경에서 지속적인 강화학습에서 재난적 기억 상실 문제를 해결하기 위해 변화하는 환경 간에 안정적인 상태 표현을 유지하는 것.
• 과거 경험 데이터에 접근할 수 없는 조건에서도 자율적이고 데이터 효율적인 학습을 가능하게 하는 것.
• 지속적 학습 중 환경 변화를 통계적으로 타당한 방법으로 자동으로 감지하는 방법을 개발하는 것.
• 학습된 상태 표현이 강화학습에서 효율적이고 이관 가능한 정책 학습을 지원하는지 평가하는 것.
• VAE에 생성 재생을 적용하여 전방 이관과 분포 이동에 대한 강건성을 입증하는 것.

제안 방법

• 감각 입력으로부터 압축되고 분리된 상태 표현을 학습하기 위해 변분 오토에코더(VAEs)를 사용한다.
• 이전 환경의 VAE 잠재공간에서 샘플링하여 과거 경험 샘플을 생성함으로써 생성 재생을 적용하고, 기억 상실을 방지한다.
• VAE 복원 오차 분포에 웰치의 t-검정을 적용하여 환경 변화를 자동으로 감지하고, 임계값을 수동으로 설정하는 것을 피한다.
• 실제 신규 데이터와 생성된 과거 데이터의 결합 분포를 기반으로 VAE를 훈련함으로써 시스템 크기를 제한한다.
• 귀무가설: 동일한 평균 복원 오차를 가진 통계적 가설 검정을 수행하며, p-값 임계값은 0.01으로 설정하여 분포 이동을 감지한다.
• PPO를 사용한 강화학습 훈련을 통해 다양한 훈련 환경에서 VAE가 학습한 표현의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 VAE 기반 생성 재생이 지속적 상태 표현 학습에서 재난적 기억 상실을 효과적으로 방지할 수 있는가?
• RQ2 제안된 자동 환경 변화 감지 방법이 사전 지식 없이 분포 이동을 신뢰성 있게 식별할 수 있는가?
• RQ3 학습된 상태 표현이 강화학습에서 효율적이고 높은 성능을 내는 정책 학습을 가능하게 하는가?
• RQ4 이전 환경에서의 지식이 이후 작업에서 성능 향상으로 이어지는 전방 이관이 발생하는가?
• RQ5 재구성 정확도와 강화학습 샘플 효율성 측면에서 피팅 튜닝 및 원시 입력 기준선과 비교해 본다면, 이 방법은 어떻게 성능을 내는가?

주요 결과

• 환경 변화가 존재할 경우 웰치의 t-검정을 통해 복원 오차에 기반한 감지에서 100% 성공률를 달성했고, 변화가 없을 경우 99.5%의 성공률를 기록했다.
• 생성 재생 기법은 환경 1의 복원에 대해 평균 제곱오차(MSE)를 3.3×10⁻⁴으로 줄였고, 피팅 튜닝 대비 1.3×10⁻³보다 훨씬 낮아 기억 상실 완화 효과를 입증했다.
• 환경 2에서는 두 방법 모두 유사한 MSE 수준(6.4×10⁻⁴ 대비 9.3×10⁻⁴)을 기록하여 현재 작업 성능에 대한 열악한 영향이 없음을 확인했다.
• PPO 훈련에서 생성 재생 기반 VAE 표현은 피팅 튜닝 및 원시 입력 대비 유의미하게 높은 최종 평균 보상 수준을 달성했으며, 특히 두 번째 환경에서 두드러진 성능 향상을 보였다.
• 이 방법은 전방 이관을 보였는데, 첫 번째 환경의 특징을 기반으로 훈련된 정책이 두 번째 환경에서도 잘 작동하여 유용한 일반화 능력을 입증했다.
• VAE에 생성 재생을 적용한 방법은 샘플 효율성과 최종 성능 모두에서 모든 기준선을 앞서며, 지속적 강화학습에 효과적임을 확인했다.