[논문 리뷰] Reproducibility of Benchmarked Deep Reinforcement Learning Tasks for Continuous Control

Riashat Islam, Peter Henderson외 2명|arXiv (Cornell University)|2017. 08. 10.

Reinforcement Learning in Robotics참고 문헌 12인용 수 185

한 줄 요약

본 논문은 하이퍼파라미터 튜닝, 환경의 확률적성, 랜덤 시드가 Hopper-v1 및 Half-Cheetah-v1에서 DDPG와 TRPO의 재현성에 미치는 영향을 연구하고 공정한 베이스라인 설정 및 보고를 위한 가이드라인을 제시한다.

ABSTRACT

Policy gradient methods in reinforcement learning have become increasingly prevalent for state-of-the-art performance in continuous control tasks. Novel methods typically benchmark against a few key algorithms such as deep deterministic policy gradients and trust region policy optimization. As such, it is important to present and use consistent baselines experiments. However, this can be difficult due to general variance in the algorithms, hyper-parameter tuning, and environment stochasticity. We investigate and discuss: the significance of hyper-parameters in policy gradients for continuous control, general variance in the algorithms, and reproducibility of reported results. We provide guidelines on reporting novel results as comparisons against baseline methods such that future researchers can make informed decisions when investigating novel methods.

연구 동기 및 목표

• 연속 제어를 위한 정책 그래디언트 방법에서 분산의 원인을 평가한다.
• Hopper와 Half-Cheetah에서 TRPO와 DDPG의 하이퍼파라미터에 대한 민감도를 평가한다.
• 하이퍼파라미터와 랜덤 시드가 결과의 재현성에 미치는 영향을 정량화한다.
• 연속 제어 RL에서 베이스라인 및 실험 절차 보고를 위한 가이드라인을 제안한다.

제안 방법

• MuJoCo/OpenAI Gym 환경 Hopper-v1 및 Half-Cheetah-v1을 테스트베드로 사용한다.
• 이전 연구의 구현을 사용하여 TRPO와 DDPG를 재현한다.
• 정책 네트워크 아키텍처, 배치 크기, 스텝 크기, 정규화, GAE의 람다, 보상 스케일, 학습률 등 하이퍼파라미터를 변경한다.
• 5개의 랜덤 시드로 5000 반복 수행하고 다수의 시도에서 결과를 분석한다.
• 다른 시드와 구성 간의 결과를 비교하여 분산을 평가한다.
• 이전 베이스라인과의 비교를 통해 평균 보상 및 표준편차를 포함한 다수의 지표를 보고한다.
• 반복 시도를 통해 환경 확률적성이 재현성에 미치는 영향을 조사한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터가 Hopper 및 Half-Cheetah에서 TRPO와 DDPG의 성능 및 재현성에 어떤 영향을 미치는가?
• RQ2 보고된 결과의 변동성에서 랜덤 시드와 환경의 확률적성은 어떤 역할을 하는가?
• RQ3 연속 제어 RL 방법의 공정한 베이스라인을 가능하게 하는 보고 지표와 실험 프로토콜은 어떤 것인가?
• RQ4 다른 논문의 베이스라인 결과가 섬세한 튜닝과 다수의 시도에 의한 충분한 평균화 하에서 일관성을 유지하는가?

주요 결과

• 하이퍼파라미터와 확률적성은 TRPO와 DDPG 모두에서 큰 성능 분산을 유발한다.
• 네트워크 아키텍처는 Half-Cheetah에 상당한 영향을 미치고 Hopper에서는 덜 나타나며; DDPG는 Hopper에서 특히 불안정하다.
• 더 큰 TRPO 배치 크기가 더 작은 크기보다 성능을 더 개선하는 반면; DDPG는 배치 크기 변화의 이익이 제한적이다.
• 보상 스케일링과 배우/평가자의 학습률은 환경에 따라 효과가 다르며 Half-Cheetah와 Hopper 간에 일관된 결과가 없다.
• 하이퍼파라미터를 조정하더라도 랜덤 시드 간 결과는 크게 달라지며, 많은 시도에 걸쳐 평균화해야 함을 강조한다.
• 다수의 기존 연구는 선택된 지표만 보고해 베이스라인을 왜곡할 수 있으며, 모든 지표와 하이퍼파라미터의 포괄적 보고를 권고한다.