[논문 리뷰] A Hitchhiker's Guide to Statistical Comparisons of Reinforcement Learning Algorithms

Cédric Colas, Olivier Sigaud외 1명|arXiv (Cornell University)|2019. 04. 15.

Reinforcement Learning in Robotics참고 문헌 10인용 수 24

한 줄 요약

이 논문은 강화학습(RL) 알고리즘을 비교하기 위한 엄밀한 통계적 프레임워크를 제공하며, 타당한 제1종 오류 통제를 보장하기 위해 수정된 유의수준을 적용한 웰치의 t검정을 지지한다. 시뮬레이션과 실제 RL 실험(SAC 대 TD3, Half-Cheetah에서 수행)을 통해 부적절한 검정 방법이 거짓 양성률을 과도하게 높임을 입증하고, 기대 효과 크기에 기반해 적절한 표본 크기를 선택하기 위한 실용적 지침과 코드를 제공한다.

ABSTRACT

Consistently checking the statistical significance of experimental results is the first mandatory step towards reproducible science. This paper presents a hitchhiker's guide to rigorous comparisons of reinforcement learning algorithms. After introducing the concepts of statistical testing, we review the relevant statistical tests and compare them empirically in terms of false positive rate and statistical power as a function of the sample size (number of seeds) and effect size. We further investigate the robustness of these tests to violations of the most common hypotheses (normal distributions, same distributions, equal variances). Beside simulations, we compare empirical distributions obtained by running Soft-Actor Critic and Twin-Delayed Deep Deterministic Policy Gradient on Half-Cheetah. We conclude by providing guidelines and code to perform rigorous comparisons of RL algorithm performances.

연구 동기 및 목표

• 알고리즘 성능 비교를 위한 원칙적인 통계적 프레임워크를 제공함으로써 RL 분야의 재현성 위기를 해결하는 것.
• 정규분포, 동일 분산, 동일 분포 가정 위반 등 다양한 조건에서 일반적인 통계 검정(학생의 t검정, 맨-유티티 검정, 부트스트랩 검정, 순열 검정, 순위 기반 t검정)의 거짓 양성률과 통계적 검정력의 성능을 평가하는 것.
• 기대 효과 크기에 기반해 실용적이고 경험적으로 근거가 있는 표본 크기(랜덤 시드 수) 추천을 제공하는 것.
• 작은 표본 크기에서 신뢰할 수 없는 검정 방법(예: 부트스트랩 검정, 순열 검정)의 사용을 경고하는 것.
• 실제 거짓 양성률이 명시된 유의수준 이하로 유지되도록 수정된 유의수준을 적용한 웰체의 t검정 사용을 권장하는 것.

제안 방법

• 저자들은 정규분포, 비대칭 분포, 이질적 분산 등 다양한 조건에서 성능 분포를 시뮬레이션하여 통계 검정의 제1종 오류율과 검정력을 평가한다.
• 다섯 가지 통계 검정 방법을 비교한다: 학생의 t검정, 웰체의 t검정, 맨-유티티 U 검정, 부트스트랩 검정, 순열 검정.
• SAC와 TD3를 Half-Cheetah 환경에서 실행한 실제 데이터를 활용해 실질적인 RL 학습 곡선에서 검정 성능을 검증한다.
• 통계적 검정력과 거짓 양성률을 표본 크기(N)와 효과 크기(ϵ)의 함수로 계산하며, ϵ은 표준화된 평균 차이로 정의된다.
• 정규분포에서 벗어나는 경우 실제 거짓 양성률 α∗가 0.05 이하로 유지되도록, 유의수준 α < 0.05(예: α = 0.01)를 사용한다.
• 모든 실험을 재현하고 실무자들이 권장 방법을 적용하는 데 도움이 되도록 코드와 원시 결과를 담은 공개 레포지터리를 제공한다.

실험 결과

연구 질문

• RQ1 RL 비교에서 다양한 성능 분포 형태와 표본 크기 조건에서 어떤 통계 검정이 가장 낮은 거짓 양성률을 유지하는가?
• RQ2 표본 크기(랜덤 시드 수)와 효과 크기에 따라 일반적인 검정 방법의 통계적 검정력은 어떻게 변하는가?
• RQ3 정규성, 동일 분산, 동일 분포 가정 위반이 RL 평가에서 통계 검정의 신뢰성에 얼마나 영향을 미치는가?
• RQ4 주어진 상대적 효과 크기를 탐지하기 위해 80%의 통계적 검정력을 확보하기 위해 최소 몇 개의 랜덤 시드가 필요한가?
• RQ5 다중 비교(예: 쌍별 알고리즘 비교)는 가족별 오류율에 어떤 영향을 미치며, 어떤 보정 방법이 효과적인가?

주요 결과

• 웰체의 t검정은 이질적 분산과 비정규 분포 조건에서도 항상 낮은 거짓 양성률을 보이며, 다른 검정 방법과 유사한 통계적 검정력을 확보한다.
• 부트스트랩 검정은 N < 50일 경우 신뢰할 수 없으며, 자주 과도한 거짓 양성률을 유발하므로, 작은 표본 크기의 RL 평가에서는 피해야 한다.
• 맨-유티티 U 검정과 순위 기반 t검정은 분포 가정을 철저히 점검하지 않으면 높은 제1종 오류율을 유발할 수 있으므로 신뢰도가 떨어진다.
• 순열 검정은 N < 10일 경우 불안정하여 높은 거짓 양성률을 유발하므로, RL 실험에서 작은 표본 크기에서는 권장되지 않는다.
• 상대적 효과 크기 ϵ = 0.5인 경우 약 100개의 시드가 80%의 통계적 검정력을 확보하기 위해 필요하며, ϵ = 1일 경우 약 20개의 시드로 충분하고, ϵ = 2일 경우 5~10개의 시드로 충분하다.
• 실제 Half-Cheetah 환경에서 SAC와 TD3를 비교한 실험은 평균 비교 시 ϵ = 0.93일 때 N = 10~15개의 시드가 필요했으며, 중앙값 비교 시 ϵ = 0.80일 경우 약 5개 더 추가가 필요했으며, 이는 효과 크기에 기반한 표본 크기 계획의 필요성을 확인한다.