[논문 리뷰] Deep Reinforcement Learning that Matters

Peter Henderson, Riashat Islam외 4명|arXiv (Cornell University)|2017. 09. 19.

Evolutionary Algorithms and Applications인용 수 364

한 줄 요약

이 논문은 정책 그래디언트 방법에 중점을 두고 심층 강화학습의 재현성, 실험 관행 및 보고를 조사하고, 엄밀성과 비교 가능성을 향상시키기 위한 지침을 제시한다.

ABSTRACT

In recent years, significant progress has been made in solving challenging problems across various domains using deep reinforcement learning (RL). Reproducing existing work and accurately judging the improvements offered by novel methods is vital to sustaining this progress. Unfortunately, reproducing results for state-of-the-art deep RL methods is seldom straightforward. In particular, non-determinism in standard benchmark environments, combined with variance intrinsic to the methods, can make reported results tough to interpret. Without significance metrics and tighter standardization of experimental reporting, it is difficult to determine whether improvements over the prior state-of-the-art are meaningful. In this paper, we investigate challenges posed by reproducibility, proper experimental techniques, and reporting procedures. We illustrate the variability in reported metrics and results when comparing against common baselines and suggest guidelines to make future results in deep RL more reproducible. We aim to spur discussion about how to ensure continued progress in the field by minimizing wasted effort stemming from results that are non-reproducible and easily misinterpreted.

연구 동기 및 목표

• 심층 RL 실험의 재현성 변동성의 원인을 평가한다.
• 하이퍼파라미터, 아키텍처, 시드, 그리고 환경이 결과에 어떤 영향을 미치는지 평가한다.
• 다양한 코드베이스와 구현 세부사항이 벤치마크에 미치는 영향을 평가한다.
• 재현성 및 공정한 비교를 개선하기 위한 지침과 통계적 관행을 제안한다.

제안 방법

• 정책 그래디언트 방법의 연속 제어에서 재현성에 영향하는 요인을 검토하고 실험적으로 분석한다.
• 하이퍼파라미터, 네트워크 아키텍처, 보상 스케일링, 시드, 환경을 변화시키며 제어된 실험을 수행한다.
• MuJoCo 작업 전반에 걸쳐 여러 벤치마크 구현(OpenAI Baselines, TRPO, PPO, DDPG, ACKTR 등)을 비교한다.
• 다수의 시드에 대한 평균과 표준오차를 사용하고, 유의성 검정 및 부트스트랩 방법을 논의한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터가 알고리즘과 환경 전반의 벤치마크 성능에 어떤 영향을 미치는가?
• RQ2 네트워크 아키텍처와 활성화 함수의 선택이 학습 결과에 어떤 영향을 주는가?
• RQ3 무작위 시드, 실험 반복 횟수, 환경의 확률적 특성이 보고된 결과에 어떤 영향을 미치는가?
• RQ4 다양한 코드베이스가 벤치마크 성능을 얼마나 바꾸는가?

주요 결과

• 하이퍼파라미터는 알고리즘과 환경에 따라 크고 일관되지 않은 효과를 낼 수 있다.
• 네트워크 아키텍처와 활성화 함수는 성능에 상당한 영향을 미치고 선택된 알고리즘과 상호 작용한다.
• 무작위 시드와 실험 반복 횟수는 큰 성능 변동성을 유발할 수 있으며, 시드에 대해 적절한 통계적 프레이밍 없이 평균화하는 것은 오해를 불러일으킬 수 있다.
• 환경의 특성(안정성 대 불안정성)은 알고리즘 성능에 강하게 영향을 미치고 어떤 방법이 최선인지를 바꿀 수 있다.
• 코드베이스 간 구현 세부사항은 상당한 성능 차이를 낼 수 있어 모든 세부사항을 보고하고 코드를 공유할 필요가 있음을 강조한다.
• 유의성 검정과 부트스트랩 분석은 관측된 이익이 신뢰할 수 있는지 여부에 대한 의미 있는 통찰을 제공한다.