[논문 리뷰] Deterministic Implementations for Reproducibility in Deep Reinforcement Learning

Prabhat Nagarajan, Garrett Warnell외 1명|arXiv (Cornell University)|2018. 09. 15.

Reinforcement Learning in Robotics참고 문헌 17인용 수 34

한 줄 요약

이 논문은 복제 가능성 문제를 해결하기 위해 딥 Q-러닝의 결정론적 구현을 제안한다. 비결정론적 요인들을 제거함으로써 재현 가능성을 높인다. 랜덤 시드, GPU 연산, 환경의 확률적 성격 등의 비결정론적 구성 요소를 개별적으로 분리하고 영향을 측정함으로써, 각각이 성능 변동성을 크게 증가시켜 복제 가능성과 신뢰할 수 있는 통계적 평가를 위해 결정론적 구현이 필수적임을 입증한다.

ABSTRACT

While deep reinforcement learning (DRL) has led to numerous successes in recent years, reproducing these successes can be extremely challenging. One reproducibility challenge particularly relevant to DRL is nondeterminism in the training process, which can substantially affect the results. Motivated by this challenge, we study the positive impacts of deterministic implementations in eliminating nondeterminism in training. To do so, we consider the particular case of the deep Q-learning algorithm, for which we produce a deterministic implementation by identifying and controlling all sources of nondeterminism in the training process. One by one, we then allow individual sources of nondeterminism to affect our otherwise deterministic implementation, and measure the impact of each source on the variance in performance. We find that individual sources of nondeterminism can substantially impact the performance of agent, illustrating the benefits of deterministic implementations. In addition, we also discuss the important role of deterministic implementations in achieving exact replicability of results.

연구 동기 및 목표

• 딥 강화학습(DRL)에서 비결정론적 학습 과정으로 인해 일관되지도, 재현되지도 않는 결과가 발생하는 심각한 재현성 위기를 해결하기 위해.
• 일반적인 재현성과 더 엄격한 복제 가능성 사이의 차이를 명확히 하여, 정확한 결과 복제를 위해 결정론적 구현이 필수적임을 강조하기 위해.
• 딥 Q-러닝 학습 과정에서의 모든 비결정론적 요인을 식별하고 체계적으로 통제하여 완전히 결정론적인 구현을 도출하기 위해.
• 각 비결정론적 요인이 성능 변동성에 미치는 영향을 개별적으로 측정하여, 결과 신뢰성에 대한 누적 영향을 입증하기 위해.
• 신뢰할 수 있는 DRL 연구를 위한 기초적인 관행으로 결정론적 구현과 고정된 실험 조건의 도입을 촉진하기 위해.

제안 방법

• 랜덤 시드, GPU 연산, 환경의 확률적 성격 등 모든 비결정론적 요인을 제어함으로써 완전한 결정론적 딥 Q-러닝 구현을 개발하였다.
• 기본적으로 결정론적인 학습 파이프라인에 하나씩 개별 비결정론적 요소를 체계적으로 재도입하였다.
• 다중 학습 런에 걸친 에이전트 성능의 변동성을 측정하여 각 요소의 영향을 정량화하였다.
• 고정된 하드웨어 및 소프트웨어 환경, Docker 컨테이너 및 CodaLab Worksheets를 사용하여 일관된 실험 조건을 확보하였다.
• 다양한 비결정론적 조건 하에서의 성능 분포를 비교하기 위해 통계 분석을 수행하여 각 요소의 영향을 분리 분석하였다.
• 공개적으로 결정론적 구현을 배포하여 공동체 수준의 도입과 복제를 지원하였다.

실험 결과

연구 질문

• RQ1 랜덤 시드, GPU 연산, 환경의 확률적 성격 등의 개별 비결정론적 요소가 딥 Q-러닝 에이전트 성능의 변동성에 어떻게 영향을 미치는가?
• RQ2 학습 과정의 비결정성은 DRL 결과의 재현 가능성과 복제 가능성에 얼마나 심각하게 악영향을 미치는가?
• RQ3 표준 구현 대비 결정론적 딥 Q-러닝 구현이 성능 변동성을 크게 줄일 수 있는가?
• RQ4 단순히 결정론적 코드를 넘어서 진정으로 복제 가능성을 확보하기 위해 어떤 실험 조건이 필요한가?
• RQ5 실제 DRL 학습 환경에서의 비결정론적 구성 요소의 집합적 영향과 개별 요소의 영향을 비교하면 어떻게 되는가?

주요 결과

• 랜덤 시드나 GPU 연산과 같은 비결정론적 요소는 각각 성능 변동성을 크게 증가시켜 결과의 신뢰성을 해칠 수 있다.
• 단 하나의 비결정론적 요소, 즉 랜덤 시드조차도 에이전트 성능에 통계적으로 유의미한 차이를 유도할 수 있다.
• 이 연구는 DRL 학습에서의 비결정성이 단순한 번거로움이 아니라, 알고리즘 간 비교를 무효화할 수 있는 주요 혼란 요인임을 입증한다.
• 저자들은 결정론적 구현이 복제 가능성의 전제 조건임을 보여주었으며, 하드웨어나 컴파일 방식의 미세한 차이조차도 정확한 복제를 깨뜨릴 수 있음을 강조한다.
• 민감도 분석 결과, 결정론적 환경에 환경의 확률적 성격을 삽입할 경우 변동성이 크게 증가함을 확인하여, 통제된 테스트 환경이 반드시 필요함을 시사한다.
• 논문은 결정론적 구현이 복제 가능성뿐 아니라 DRL 연구에서 의미 있는 통계적 가설 검정을 수행하는 데에도 필수적임을 확립한다.