[논문 리뷰] Reinforcement Learning Generalization with Surprise Minimization

Jerry Zikun Chen|arXiv (Cornell University)|2020. 04. 26.

Reinforcement Learning in Robotics참고 문헌 28인용 수 8

한 줄 요약

이 논문은 절차적으로 생성된 환경에서 강화학습(Deep RL)의 일반화 성능을 향상시키기 위해 변분 오토인코더(VAE)에서 유도된 놀라움 최소화 보상(reward)을 제안한다. 상태 경로를 학습하여 향후 상태를 예측하고 예측 놀라움을 최소화함으로써, 에이전트는 더 견고하고 안정적인 정책을 학습하여 ProcGen 벤치마크에서 미리 보지 않은 테스트 레벨로의 일반화 성능을 향상시킨다. 이는 표준 PPO보다 학습 속도와 테스트 성능에서 뛰어나지만, 높은 표현 능력을 지닌 VAE로 인해 CoinRun에서는 과적합이 발생한다.

ABSTRACT

Generalization remains a challenging problem for deep reinforcement learning algorithms, which are often trained and tested on the same set of deterministic game environments. When test environments are unseen and perturbed but the nature of the task remains the same, generalization gaps can arise. In this work, we propose and evaluate a surprise minimizing agent on a generalization benchmark to show an additional reward learned from a simple density model can show robustness in procedurally generated game environments that provide constant source of entropy and stochasticity.

연구 동기 및 목표

• 미리 보지 않은 절차적으로 생성된 환경에서 테스트될 때 딥 강화학습 에이전트의 일반화 갭을 해소하기 위해.
• 학습된 밀도 모델을 통해 미래의 놀라움을 최소화하는 것이 엔트로피가 높고 확률적인 환경에서의 내성적 안정성 향상에 기여하는지 조사하기 위해.
• 표준 강화학습 알고리즘을 초월해 일반화 성능을 향상시키기 위해 놀라움 최소화를 내재 보상 신호로 사용하는 효과를 평가하기 위해.
• 다양한 밀도 모델과 보상 스케일링 하이퍼파라미터의 영향이 일반화 성능에 미치는 영향을 탐색하기 위해.

제안 방법

• 에이전트의 경험에서 얻은 상태 관측치를 기반으로 온라인으로 VAE를 훈련하여 현재 정책 하에서 상태 분포의 근사 확률 밀도를 모델링한다.
• VAE는 각 상태에 대해 잠재 분포(평균과 분산)를 출력하여 상태 재구성 확률, 즉 놀라움을 추정할 수 있도록 한다.
• 놀라움은 재구성된 상태의 로그우도의 음수로 계산되며, 향후 예측 오차를 최소화하기 위한 내재 보상 신호로 기능한다.
• 놀라움 보상은 하이퍼파rameter α를 사용하여 작업 보상과 조합되며, 내재적 및 외재적 학습 목표 간 균형을 이룬다.
• VAE와 정책는 배치 기반의 온라인 방식으로 함께 훈련되며, 동일한 경험 배치를 사용해 각 학습 스텝마다 동시에 업데이트된다.
• 이 방법은 표준 PPO 학습 환경에서 ProcGen 벤치마크의 두 게임(CoinRun 및 BossFight)에서 평가된다.

실험 결과

연구 질문

• RQ1 학습된 밀도 모델을 통한 놀라움 최소화가 절차적으로 생성된 환경에서 딥 강화학습의 일반화 성능 향상에 기여하는가?
• RQ2 미리 보지 않은 레벨에서의 테스트 성능 측면에서 놀라움 최소화 보상은 표준 PPO보다 어떻게 비교되는가?
• RQ3 밀도 모델의 선택(VAE 대 일반분포)이 일반화 성능와 내성적 안정성에 영향을 미치는가?
• RQ4 놀라움 보상 크기를 제어하는 하이퍼파라미터 α는 작업 학습과 일반화 간의 균형에 어떤 영향을 미치는가?
• RQ5 내재적 놀라움 신호는 훈련 및 테스트 중 환경의 엔트로피에 어떻게 대응하는 데 도움이 되는가?

주요 결과

• 놀라움 최소화 보상은 CoinRun에서 학습 속도를 크게 향상시켰으며, PPO + VAE는 기준 PPO보다 더 이르게 높은 작업 보상을 달성했다.
• BossFight 환경에서는 초기 과적합 이후 PPO + VAE 에이전트가 테스트 세트에서 표준 PPO와 동일한 성능을 보였으며, 이는 결국 일반화 성능 향상의 가능성을 시사한다.
• CoinRun에서는 VAE의 높은 표현 능력으로 인해 PPO + VAE 에이전트가 학습 레벨에 과적합하여 더 나쁜 테스트 성능을 보였지만, 학습 속도는 빠르게 나타났다.
• 놀라움 보상이 과도하게 강한 경우 성능이 악화되었으며, 작업 보상과 균형을 이루는 것이 가장 효과적인 것으로 나타났다.
• 이 방법은 놀라움 최소화를 통해 엔트로피가 높은 환경에서 안정적이고 예측 가능한 행동을 장려함으로써 내성적 안정성을 향상시킬 수 있음을 보여주었다.
• 결과적으로, 놀라움 최소화는 기억에 의존하기 쉬운 목표 추구 과제(CoinRun)보다는 지속적인 생존이 요구되는 과제(BossFight)에서 더 효과적인 것으로 나타났다.