[論文レビュー] Deep Reinforcement Learning at the Edge of the Statistical Precipice

Rishabh Agarwal, Max Schwarzer+3 more|arXiv (Cornell University)|Aug 30, 2021

Reinforcement Learning in Robotics参考文献 106被引用数 41

ひとこと要約

本論文は、少数の学習実行しか行えない深層強化学習の評価が高い統計的不確実性に悩まされると主張し、アルゴリズムを信頼性高く比較するための頑健でスケーラブルな手法（区間推定、パフォーマンスプロファイル、IQM）を提案する。

ABSTRACT

Deep reinforcement learning (RL) algorithms are predominantly evaluated by comparing their relative performance on a large suite of tasks. Most published results on deep RL benchmarks compare point estimates of aggregate performance such as mean and median scores across tasks, ignoring the statistical uncertainty implied by the use of a finite number of training runs. Beginning with the Arcade Learning Environment (ALE), the shift towards computationally-demanding benchmarks has led to the practice of evaluating only a small number of runs per task, exacerbating the statistical uncertainty in point estimates. In this paper, we argue that reliable evaluation in the few run deep RL regime cannot ignore the uncertainty in results without running the risk of slowing down progress in the field. We illustrate this point using a case study on the Atari 100k benchmark, where we find substantial discrepancies between conclusions drawn from point estimates alone versus a more thorough statistical analysis. With the aim of increasing the field's confidence in reported results with a handful of runs, we advocate for reporting interval estimates of aggregate performance and propose performance profiles to account for the variability in results, as well as present more robust and efficient aggregate metrics, such as interquartile mean scores, to achieve small uncertainty in results. Using such statistical tools, we scrutinize performance evaluations of existing algorithms on other widely used RL benchmarks including the ALE, Procgen, and the DeepMind Control Suite, again revealing discrepancies in prior comparisons. Our findings call for a change in how we evaluate performance in deep RL, for which we present a more rigorous evaluation methodology, accompanied with an open-source library rliable, to prevent unreliable results from stagnating the field.

研究の動機と目的

• 少数の実行しか行えない深層RL評価における統計的不確実性の役割を強調する。
• 点推定がRLベンチマークに対する結論を誤解させる可能性を示す。
• 限られた実行で性能を定量化・比較する実用的なツールと指標を提案する。
• 信頼性のある報告のための評価方法論とオープンソースツールを推奨する。

提案手法

• 層別ブートストラップ信頼区間による区間推定の報告を推奨する。
• タスク間のばらつきを視覚化するためにパフォーマンスプロファイルと実行スコア分布を導入する。
• 四分位平均IQMや最適性ギャップのような頑健な集計指標を推奨する。
• アルゴリズムを比較する際に改善の平均確率を用いることを提案する。
• Atari 100k、ALE、Procgen、DeepMind Control Suite のベンチマークでこの方法論を実証する。
• これらのツールを実装するためのオープンソースライブラリrliableを提供する。

実験結果

リサーチクエスチョン

• RQ1 実行回数が限られている場合、統計的不確実性は報告された深層RLの性能にどのような影響を与えるか。
• RQ2 区間推定と頑健な指標は、一般的なRLベンチマークにおいてタスク間で信頼性のある比較を提供できるか。
• RQ3 パフォーマンスプロファイルとスコア分布は、従来の平均/中央値の報告よりも有益な情報を提供するか。
• RQ4 方法間で公正で再現可能な比較を保証するには、どの評価プロトコルの変更が必要か。

主な発見

• 点推定（平均/中央値）は著しいばらつきを示し、少数回の実行条件でアルゴリズムの順位を誤って決定しうる。
• 標本中央値はバイアスがあり、実行回数が少ないと不確実性が高いままで、より多くの実行で結論が覆される可能性がある。
• 層別ブートストラップ信頼区間とパーセンタイルベースの信頼区間は、小さなNに対して信頼できる不確実性推定を提供する。
• IQMはしばしば信頼区間を小さくし、中央値より外れ値に対して頑健である。
• パフォーマンスプロファイルとスコア分布はタスク間のばらつきを明らかにし、知覚上の順位を変えることがある。
• ベンチマーク全体では（Atari ALE/Atari 200M、ProcGen、DeepMind Control Suite）、多くの主張された改善は不確実性下またはタスク間で持続しない。