[논문 리뷰] Deep Reinforcement Learning at the Edge of the Statistical Precipice

Rishabh Agarwal, Max Schwarzer외 3명|arXiv (Cornell University)|2021. 08. 30.

Reinforcement Learning in Robotics참고 문헌 106인용 수 41

한 줄 요약

이 논문은 소수 실행(few-run) 딥 RL 평가에서 통계적 불확실성이 크게 작용함을 주장하고, 알고리즘을 안정적으로 비교하기 위한 강건하고 확장 가능한 방법들(구간 추정, 성능 프로파일, IQM)을 제안한다.

ABSTRACT

Deep reinforcement learning (RL) algorithms are predominantly evaluated by comparing their relative performance on a large suite of tasks. Most published results on deep RL benchmarks compare point estimates of aggregate performance such as mean and median scores across tasks, ignoring the statistical uncertainty implied by the use of a finite number of training runs. Beginning with the Arcade Learning Environment (ALE), the shift towards computationally-demanding benchmarks has led to the practice of evaluating only a small number of runs per task, exacerbating the statistical uncertainty in point estimates. In this paper, we argue that reliable evaluation in the few run deep RL regime cannot ignore the uncertainty in results without running the risk of slowing down progress in the field. We illustrate this point using a case study on the Atari 100k benchmark, where we find substantial discrepancies between conclusions drawn from point estimates alone versus a more thorough statistical analysis. With the aim of increasing the field's confidence in reported results with a handful of runs, we advocate for reporting interval estimates of aggregate performance and propose performance profiles to account for the variability in results, as well as present more robust and efficient aggregate metrics, such as interquartile mean scores, to achieve small uncertainty in results. Using such statistical tools, we scrutinize performance evaluations of existing algorithms on other widely used RL benchmarks including the ALE, Procgen, and the DeepMind Control Suite, again revealing discrepancies in prior comparisons. Our findings call for a change in how we evaluate performance in deep RL, for which we present a more rigorous evaluation methodology, accompanied with an open-source library rliable, to prevent unreliable results from stagnating the field.

연구 동기 및 목표

• 소수 실행에서의 통계적 불확실성의 역할을 강조한다.
• 점 추정이 RL 벤치마크에 대한 결론을 오도할 수 있음을 보여준다.
• 제한된 실행에서 성능을 정량화하고 비교하기 위한 실용적 도구와 지표를 제안한다.
• 강건한 보고를 위한 평가 방법론과 오픈 소스 도구를 추천한다.

제안 방법

• 층화 부트스트래핑 신뢰구간을 통한 구간 추정 보고를 옹호한다.
• 작업 간 가변성을 시각화하기 위해 성능 프로파일과 런-스코어 분포를 도입한다.
• IQM(사분위 평균) 및 최적성 격차와 같은 강건한 집계 지표를 권장한다.
• 알고리즘 비교를 위해 개선 확률의 평균을 사용하는 것을 제안한다.
• Atari 100k, ALE, ProcGen, 및 DeepMind Control Suite 벤치마크를 활용한 방법론을 시연한다.
• 이 도구들을 구현하기 위한 오픈 소스 라이브러리 rliable를 제공한다.

실험 결과

연구 질문

• RQ1 몇 개의 학습 실행만 가능할 때 통계적 불확실성이 보고된 심층 RL 성능에 어떤 영향을 미치는가?
• RQ2 구간 추정과 강건한 지표가 일반적인 RL 벤치마크에서 작업 간 신뢰할 수 있는 비교를 제공할 수 있는가?
• RQ3 성능 프로파일과 점수 분포가 전통적인 평균/중앙값 보고보다 더 정보에 강한 그림을 제공하는가?
• RQ4 방법 간 공정하고 재현 가능한 비교를 보장하기 위해 어떤 평가 프로토콜의 변화가 필요한가?

주요 결과

• 점 추정(평균/중앙값)은 상당한 변동성을 보이며 소수 실행 환경에서 알고리즘의 순위를 잘못 매길 수 있다.
• 샘플 중앙값은 편향되어 있으며 적은 실행으로 불확실성이 여전히 커 더 많은 실행으로 결론이 뒤집힐 수 있다.
• 층화된 부트스트랩 신뢰구간과 분위수 기반 CI는 작은 N에 대해 신뢰할 수한 불확실성 추정치를 제공한다.
• IQM은 종종 중앙값보다 더 작은 신뢰구간을 산출하고 이상치에 더 강건하다.
• 성능 프로파일과 점수 분포는 작업 간 변동성을 드러내며 인식되는 순위를 바꿀 수 있다.
• 벤치마크 전반(Atari ALE/Atari 200M, ProcGen, DeepMind Control Suite)에서 많은 주장된 개선이 불확실성이나 작업 간 차이에서 유지되지 않는다.