[論文レビュー] A Hitchhiker's Guide to Statistical Comparisons of Reinforcement Learning Algorithms

Cédric Colas, Olivier Sigaud+1 more|arXiv (Cornell University)|Apr 15, 2019

Reinforcement Learning in Robotics参考文献 10被引用数 24

ひとこと要約

この論文は強化学習（RL）アルゴリズムを比較するための厳密な統計的枠組みを提供し、適切な有意水準を調整したウェルチのt検定を用いることで、第一種の誤り率を適切に制御することを提唱している。シミュレーションおよび実世界のRL実験（SACとTD3をHalf-Cheetahで比較）を通じて、不適切な検定手法が偽陽性率を著しく上昇させることを示し、期待される効果サイズに基づいて適切なサンプルサイズを選択するための実用的ガイドラインとコードを提供している。

ABSTRACT

Consistently checking the statistical significance of experimental results is the first mandatory step towards reproducible science. This paper presents a hitchhiker's guide to rigorous comparisons of reinforcement learning algorithms. After introducing the concepts of statistical testing, we review the relevant statistical tests and compare them empirically in terms of false positive rate and statistical power as a function of the sample size (number of seeds) and effect size. We further investigate the robustness of these tests to violations of the most common hypotheses (normal distributions, same distributions, equal variances). Beside simulations, we compare empirical distributions obtained by running Soft-Actor Critic and Twin-Delayed Deep Deterministic Policy Gradient on Half-Cheetah. We conclude by providing guidelines and code to perform rigorous comparisons of RL algorithm performances.

研究の動機と目的

• RLにおける再現性の危機を解決するため、アルゴリズム性能の比較に原則的統計枠組みを提供すること。
• 正規性、等分散性、同一分布の仮定の破れが生じる状況下でも、偽陽性率と統計的パワーの観点から、一般的な統計的検定（t検定、マン・ホイットニー検定、ブートストラップ検定、順序統計検定、ランク付きt検定）の性能を評価すること。
• 期待される効果サイズに基づいて、実証的根拠に基づいたサンプルサイズ（ランダムシードの数）の実用的かつ具体的な推奨を提供すること。
• サンプルサイズが小さい場合に信頼性の低い検定手法（例：ブートストラップ検定や順序統計検定）の使用を警告すること。
• 真の偽陽性率が名目水準以下に保たれるように、有意水準を調整したウェルチのt検定の使用を推奨すること。

提案手法

• 著者らは、正規分布、歪度のある分布、不等分散のさまざまな状況下での性能分布をシミュレートし、統計的検定の第一種の誤り率とパワーを評価した。
• 5つの統計的検定（スチューデントのt検定、ウェルチのt検定、マン・ホイットニーU検定、ブートストラップ検定、順序統計検定）を比較した。
• SACとTD3をHalf-Cheetahで実行した実験データを用いて、実際のRL学習曲線における検定手法の性能を検証した。
• 統計的パワーと偽陽性率を、サンプルサイズ（N）と効果サイズ（ϵ）の関数として計算した。ϵは標準化された平均差として定義された。
• 正規分布からの逸脱が生じる場合でも、実際の偽陽性率α∗が0.05以下に保たれるように、有意水準α < 0.05（例：α = 0.01）を用いた。
• すべての実験を再現可能にするための公開リポジトリを提供し、実務家が推奨手法を適用するのを支援するコードと原始データを含んでいる。

実験結果

リサーチクエスチョン

• RQ1 RLの比較において、さまざまな性能分布の形状とサンプルサイズの下で、どの統計的検定が最も低い偽陽性率を維持するか？
• RQ2 サンプルサイズ（ランダムシードの数）と効果サイズの変化に伴い、一般的な検定手法の統計的パワーはどのように変化するか？
• RQ3 正規性、等分散性、同一分布の仮定の違反が、RL評価における統計的検定の信頼性にどの程度影響を及えるか？
• RQ4 与えられた相対的効果サイズを検出するための最小サンプルサイズ（ランダムシード数）はどの程度か？
• RQ5 複数の比較（例：アルゴリズム間の対比較）が家族誤差率に与える影響は何か？また、どの補正手法が有効か？

主な発見

• ウェルチのt検定は、不等分散や非正規分布の下でも、常に低い偽陽性率と他の検定と同等の統計的パワーを示した。
• ブートストラップ検定はN < 50の場合は信頼性が低く、しばしば偽陽性率が上昇するため、小標本のRL評価では避けるべきである。
• マン・ホイットニーU検定およびランク付きt検定は、分布の仮定を注意深く確認しない限り、高い第一種の誤り率を引き起こすリスクがある。
• 順序統計検定はN < 10の場合は不安定で、偽陽性率が著しく上昇するため、RL実験における小標本評価には推奨されない。
• 相対的効果サイズϵ = 0.5の場合、約100のシードが必要で、80％の統計的パワーを達成できる。ϵ = 1の場合は約20のシードで十分であり、ϵ = 2の場合は5〜10のシードで十分である。
• 実世界のSACとTD3のHalf-Cheetah上での比較では、ϵ = 0.93（平均比較）の場合、N = 10〜15のシードが必要であり、中央値比較（ϵ = 0.80）では約5個の追加シードが必要であった。これは、効果サイズに応じたサンプルサイズ計画の必要性を裏付けている。