[논문 리뷰] SEERL: Sample Efficient Ensemble Reinforcement Learning

Rohan Saphal, Balaraman Ravindran외 3명|arXiv (Cornell University)|2020. 01. 15.

Reinforcement Learning in Robotics참고 문헌 35인용 수 13

한 줄 요약

SEERL는 순환 학습률을 통해 모델 가중치에 방향성 있는 편향을 가해 단일 학습 런에서 다양하고 높은 성능을 내는 정책을 생성함으로써 샘플 효율적인 딥 강화학습 프레임워크를 제안한다. 이는 이전의 앙상블 방법보다 훨씬 낮은 샘플 및 계산 비용으로 Atari 2600 및 MuJoCo 환경에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Ensemble learning is a very prevalent method employed in machine learning. The relative success of ensemble methods is attributed to their ability to tackle a wide range of instances and complex problems that require different low-level approaches. However, ensemble methods are relatively less popular in reinforcement learning owing to the high sample complexity and computational expense involved in obtaining a diverse ensemble. We present a novel training and model selection framework for model-free reinforcement algorithms that use ensembles of policies obtained from a single training run. These policies are diverse in nature and are learned through directed perturbation of the model parameters at regular intervals. We show that learning and selecting an adequately diverse set of policies is required for a good ensemble while extreme diversity can prove detrimental to overall performance. Selection of an adequately diverse set of policies is done through our novel policy selection framework. We evaluate our approach on challenging discrete and continuous control tasks and also discuss various ensembling strategies. Our framework is substantially sample efficient, computationally inexpensive and is seen to outperform state-of-the-art (SOTA) scores in Atari 2600 and Mujoco.

연구 동기 및 목표

• 앙상블 강화학습에서 다수의 독립된 정책을 학습하는 데 발생하는 높은 샘플 복잡도와 계산 비용을 해결하기 위해.
• 추가 학습 오버헤드 없이 단일 학습 런에서 다양하고 높은 성능을 내는 정책을 생성하는 방법을 개발하기 위해.
• 부적절한 정책을 걸러내고 성능 향상을 위해 최적의 앙상블를 구성하기 위해 최적의 정책 선택 프레임워크를 설계하기 위해.
• 순환 학습률을 통한 방향성 있는 편향이 랜덤 편향과는 달리 효과적인 정책 다양성에 필수적임을 입증하기 위해.
• 정책 간 과도한 다양성이 앙상블 성능을 떨어뜨릴 수 있음을 보여주며, 균형 잡힌 선택 전략이 필요함을 확인하기 위해.

제안 방법

• 순환 학습률을 사용해 정기적으로 모델 가중치를 편향시켜 기울기 방향으로 유도함으로써 날카로운 국소 최소점에 수렴하는 것을 방지한다.
• 단일 신경망에서 순차적으로 다양한 정책을 생성함으로써 병렬 학습 런을 다수 수행할 필요 없이 해결한다.
• 학습 중 궤적을 기반으로 평가하고 최적의 정책 조합을 선택하는 새로운 정책 선택 프레임워크를 도입한다.
• 상태 간 행동 분포 간 Kullback-Leibler 발산을 사용해 정책 다양성을 정량화하고 검증한다.
• 이 프레임워크를 온-폴리시(A2C 등) 및 오프-폴리시(SAC 등) 강화학습 알고리즘에 적용해 광범위한 적용 가능성을 입증한다.
• 다양성과 성능의 균형을 이루기 위해 정책 수(M) 및 최대 학습률 등의 하이퍼파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 단일 학습 런이 전통적인 앙상블 방법보다 뛰어난 성능을 내는 다양한 정책 앙상블을 생성할 수 있는가?
• RQ2 순환 학습률을 통한 모델 가중치의 방향성 있는 편향이 정책 다양성과 성능 향상에 랜덤 편향보다 더 효과적인가?
• RQ3 최적의 정책 다양성 수준은 무엇인가? 과도한 다양성이 앙상블 성능을 떨어뜨릴 수 있는가?
• RQ4 제안된 정책 선택 프레임워크는 단순 평균화보다 앙상블 성능을 얼마나 향상시키는가?
• RQ5 SUNRISE와 같은 기존의 앙상블 방법에 비해 SEERL이 얼마나 샘플 효율적인가?

주요 결과

• SEERL은 Atari 2600 및 MuJoCo 환경에서 최신 기술 수준(SOTA) 성능을 달성하며, 훨씬 적은 샘플 상호작용 수로 뛰어난 성능을 내고 있다.
• SUNRISE는 병렬로 다수의 네트워크를 학습하지만, SEERL은 단일 네트워크 및 순차적 학습 방식을 통해 최대 10배 빠른 속도를 기록한다.
• 순환 학습률을 통한 방향성 있는 편향이 랜덤 편향보다 훨씬 더 다양하고 효과적인 정책을 생성한다.
• 매우 높은 수준의 다양성이 앙상블 성능을 떨어뜨리며, 다양성이 균형을 이루고 과도하게 초과되지 않아야 함을 확인한다.
• 정책 선택 프레임워크는 부적절한 정책을 효과적으로 걸러내어 고성능이고 상호보완적인 정책을 선택함으로써 앙상블 성능을 향상시킨다.
• M가 3에서 7 사이일 때 SEERL은 최적의 성능을 기록하며, 이보다 높은 M 값은 정책 당 학습 시간을 줄여 결과를 악화시킨다.