[논문 리뷰] Dopamine: A Research Framework for Deep Reinforcement Learning

Pablo Samuel Castro, Subhodeep Moitra외 3명|arXiv (Cornell University)|2018. 12. 14.

Reinforcement Learning in Robotics참고 문헌 6인용 수 172

한 줄 요약

도파민은 Arcade Learning Environment(ALE)에서 안정적이고 재현 가능한 가치 기반 딥 RL 연구에 초점을 맞춘 작고 오픈 소스인 텐서플로우 프레임워크로, 알고리즘 연구 및 교육적 사용을 지원하기 위한 단순성에 중점을 둡니다. 여기에는 네 가지 에이전트, 베이스라인 베이스라인, 재현 가능한 실험 도구가 포함됩니다.

ABSTRACT

Deep reinforcement learning (deep RL) research has grown significantly in recent years. A number of software offerings now exist that provide stable, comprehensive implementations for benchmarking. At the same time, recent deep RL research has become more diverse in its goals. In this paper we introduce Dopamine, a new research framework for deep RL that aims to support some of that diversity. Dopamine is open-source, TensorFlow-based, and provides compact and reliable implementations of some state-of-the-art deep RL agents. We complement this offering with a taxonomy of the different research objectives in deep RL research. While by no means exhaustive, our analysis highlights the heterogeneity of research in the field, and the value of frameworks such as ours.

연구 동기 및 목표

• 딥 RL의 다양한 연구 목표를 특징짓고 각 목표에 필요한 소프트웨어 요구를 식별한다.
• 딥 RL에서 알고리즘 연구 및 교육적 사용을 지원하도록 설계된 작고 독립적인 프레임워크를 제시한다.
• ALE를 통해 에이전트를 일관되게 비교할 수 있는 재현 가능한 베이스라인과 도구를 제공한다.
• 복제 및 학습을 촉진하기 위해 대화형 노트북, 사전 학습된 모델, 학습 데이터를 제공한다.

제안 방법

• Dopamine을 12개 파일로 구성된 텐서플로우 기반 프레임워크로 도입하여 소형성과 신뢰성에 중점을 둔다.
• ALE 호환성과 함께 네 가지 확립된 가치 기반 에이전트(DQN, C51, Rainbow-like, IQN)를 구현하고 제공한다.
• 재현성을 보장하고 매개변수 교환을 용이하게 하려면 gin-config를 이용한 중앙집중식 실험 구성을 사용한다.
• 커버리지 >98%의 광범위한 테스트와 일관된 벤치마킹을 위한 ready-made baselines를 제공한다.
• 복제 및 시각화를 촉진하기 위해 Colab 노트북, 사전 학습된 베 baseline, 데이터를 제공한다.
• 연구 목표의 분류법(아키텍처, 포괄적 연구, 시각화, 알고리즘 연구, 교육)을 통해 설계 결정을 논의한다.

실험 결과

연구 질문

• RQ1 깊은 RL의 다양한 연구 목표가 소프트웨어 요구 및 프레임워크 설계에 어떻게 매핑되는가?
• RQ2 작고 독립적인 프레임워크가 재현성을 희생하지 않으면서도 의미 있는 알고리즘 연구와 교육적 용도를 지원할 수 있는가?
• RQ3 환경 및 평가 선택(ALE 설정, 끈적한 행동 등)이 보고된 RL 성능에 어떤 영향을 미치는가?
• RQ4 공통 베이스라인 세트가 ALE 기반 가치 기반 에이전트 간의 공정한 비교를 어떻게 가능하게 하는가?
• RQ5 대화형 노트북, 체크포인트, 로그 등 재현 가능한 딥 RL 연구를 가장 잘 지원하는 인프라와 도구는 무엇인가?

주요 결과

	Dopamine	DQN	C51	Rainbow	IQN
Sticky actions	Yes	No	No	No	No
Epis. termination	Game Over	Life Loss	Life Loss	Life Loss	Life Loss
Training ε	0.01	0.1	0.01	0.01	0.01
Evaluation ε	0.001	0.01	0.001	0.001	0.001
ε decay schedule (frames)	1M	4M	4M	1M	4M
Min. history to learn (frames)	80K	200K	200K	80K	200K
Target net. update freq. (frames)	32K	40K	40K	32K	40K

• 도파민은 작고(12개 파일, 약 2000줄의 파이썬 코드) 프레임워크가 ALE를 위한 다중 최첨단 가치 기반 에이전트를 구현할 수 있음을 보여준다.
• gin-config 주도 구성이 중앙 집중식으로 조정 가능한 하이퍼파라미터와 공정한 벤치마킹을 위한 전체 베이스라인을 제공하여 재현 가능한 실험을 가능하게 한다.
• 기본 설정(끈적한 행동, 종료 기준, 표준화된 하이퍼파라미터)은 학습 역학 및 에이전트의 보고 성능에 실질적 영향을 미치며, 이는 선행 연구에서 제기된 재현성 문제를 강조한다.
• 프레임워크는 광범위한 테스트(>98% 커버리지)와 재현을 촉진하는 준비된 베이스라인(사전 학습된 체크포인트와 텐서보드 로그 포함)을 제공한다.
• 도파민은 알고리즘 연구와 교육적 사용에 중점을 두고 있으며, 단순성과 신뢰성이 유용한 연구 도구 및 교육 자원과 함께 공존할 수 있음을 보여준다.
• ALE에서의 베이스라인 비교에서 기본 설정이 구성에 따라 에이전트의 우위를 바꿀 수 있음을 밝히며(예: C51 대 Rainbow 대 IQN), 프레임워크가 이러한 효과를 명확히 드러낸다.