[논문 리뷰] A Dissection of Overfitting and Generalization in Continuous Reinforcement Learning

Amy Zhang, Nicolas Ballas외 1명|arXiv (Cornell University)|2018. 06. 20.

Reinforcement Learning in Robotics참고 문헌 11인용 수 93

한 줄 요약

이 논문은 연속 도메인에서의 심층 강화학습의 일반화와 기억화의 관계를 연구하고, seed 기반 및 무작위 보상 테스트를 도입하며, 충분한 학습 다양성이 시뮬레이션 환경에서 일반화를 가능하게 하는 반면 자연 데이터는 일반화에 더 큰 도전을 제시한다.

ABSTRACT

The risks and perils of overfitting in machine learning are well known. However most of the treatment of this, including diagnostic tools and remedies, was developed for the supervised learning case. In this work, we aim to offer new perspectives on the characterization and prevention of overfitting in deep Reinforcement Learning (RL) methods, with a particular focus on continuous domains. We examine several aspects, such as how to define and diagnose overfitting in MDPs, and how to reduce risks by injecting sufficient training diversity. This work complements recent findings on the brittleness of deep RL methods and offers practical observations for RL researchers and practitioners.

연구 동기 및 목표

• 연속 도메인 내에서 심층 강화학습(RL)의 과적합을 동기 부여하고 특성화한다.
• RL에서의 일반화에 대한 실용적 개념을 정의한다. within-task 및 out-of-task 시나리오를 포함한다.
• memorization을 탐지하기 위한 진단 테스트를 개발한다(seed 무작위화, 보상 무작위화, 분포 이동).
• 학습 다양성이 모델-프리와 모델 기반 RL 방법 전반의 일반화에 어떤 영향을 미치는지 조사한다.
• RL 정책의 평가 및 강건성 향상을 위한 실행 가능한 가이드라인을 제공한다.

제안 방법

• 훈련 시드와 테스트 시드를 기준으로 RL 일반화를 형식화하여 확률적 요인을 분리한다.
• 제한된 시드 변화하에서 memorization 경향을 평가하기 위해 무작위 보상 실험을 사용한다.
• 초기 상태 분포를 확장하고 관측 노이즈를 주입하여 일반화를 평가한다.
• 이산 및 연속 행동 공간 전반에서 모델-프리(DQN/PPO)와 모델-베이스드 RL 접근법을 비교한다.
• 일련의 환경(Cartpole, Acrobot, Reacher, Thrower)과 자연 이미지 기반 작업을 적용하여 일반화를 연구한다.
• 복제를 가능하게 하는 구현 및 하이퍼파라미터 세부정보를 제공한다.

실험 결과

연구 질문

• RQ1 시드 다양성은 연속 RL 작업에서 일반화와 기억화에 어떤 영향을 미치는가?
• RQ2 무작위 보상이 심층 RL 모델의 memorization 경향을 드러낼 수 있는가? 시드 수가 이에 어떤 영향을 미치는가?
• RQ3 초기 상태의 분포 이동과 관측 노이즈의 변화가 전달/일반화 성능에 어떤 영향을 미치는가?
• RQ4 제한된 학습 시드 하에서 모델 기반 RL 접근법은 일반화를 개선하는가, 악화시키는가?
• RQ5 시뮬레이션 도메인 작업과 자연 이미지 기반 작업 간의 일반화 행동 차이는 무엇인가?

주요 결과

• 훈련 다양성이 제한될 때 심층 RL은 간단한 시뮬레이션 작업과 자연 이미지 기반 작업 모두에서 과적합할 수 있다.
• 학습 시드 수를 늘리면 일반적으로 시뮬레이션 도메인에서 일반화가 개선되며 연속 행동이어도 마찬가지이다.
• 무작위 보상 실험은 특히 적은 수의 학습 시드에서 memorization을 드러내지만, 더 큰 시드 집합은 기억 효과를 감소시킨다.
• 작업 외 일반화는 더 많은 학습 환경으로 개선되지만 도메인 시프트가 증가하면(초기 상태 및 관측 노이즈) 악화된다.
• 제한된 시드 체계에서 모델 기반 RL은 바이어스를 전파하거나 증폭시켜 일부 연속 제어 작업에서 일반화가 더 나빠질 수 있다.
• 자연 이미지 작업은 합성 작업보다 일반화 격차가 더 크며, 새로운 벤치마크의 필요성을 강조한다.