[論文レビュー] Evaluating the Performance of Reinforcement Learning Algorithms

Scott M. Jordan, Yash Chandak+3 more|arXiv (Cornell University)|Jun 30, 2020

Evolutionary Algorithms and Applications被引用数 19

ひとこと要約

この論文は、パフォーマンス報告の不一致を是正するため、パフォーマンスパーセンタイル、ゲーム理論的集約測度、パフォーマンスバウンドプロパゲーション（PBP）を導入することで、強化学習（RL）アルゴリズムに対する原理的で包括的な評価手法を提案している。この手法により、環境間での信頼性の高い再現可能性のある比較が可能となり、Sarsa(λ)-Parl2とPPOがハイパーパrameterチューニングを最小限に抑えても平均的に最も優れた性能を示すことが明らかになった。

ABSTRACT

Performance evaluations are critical for quantifying algorithmic advances in reinforcement learning. Recent reproducibility analyses have shown that reported performance results are often inconsistent and difficult to replicate. In this work, we argue that the inconsistency of performance stems from the use of flawed evaluation metrics. Taking a step towards ensuring that reported results are consistent, we propose a new comprehensive evaluation methodology for reinforcement learning algorithms that produces reliable measurements of performance both on a single environment and when aggregated across environments. We demonstrate this method by evaluating a broad class of reinforcement learning algorithms on standard benchmark tasks.

研究の動機と目的

• パフォーマンス報告の不一致の根本的原因である不適切な評価指標を特定することで、RLにおける再現性の危機に対処する。
• 不確実性を定量化し、RLアルゴリズムの実世界での有用性を反映する科学的な評価手順を開発する。
• 特定の環境や正規化手法に偏らない公平性と非搾取性を確保する。
• 標準の研究者が特別なリソースを必要とせずに結果を再現できる計算の実行可能性を確保する。
• 「どのアルゴリズムが最小限のチューニングで多様な環境で優れた性能を発揮するか？」という一般的な評価の問いに答える。

提案手法

• 各環境内でアルゴリズムのパフォーマンスを順位付けすることで、環境間での比較を可能にする正規化された相対的パフォーマンス指標としてパフォーマンスパーセンタイルを導入する。
• ゲーム理論的アプローチを用いて、重み付き寄与を伴う環境間の結果を公平に統合する集約パフォーマンス測度を構築する。
• パフォーマンスバウンドプロパゲーション（PBP）を適用し、信頼区間を含め、評価パイプライン全体にわたり不確実性を厳密に定量化・伝播する。
• 環境間の正規化スコアの重み付き期待値として集約パフォーマンス測度を定義することで、頑健性と解釈可能性を確保する。
• ランダムシードや確率的要因によるパフォーマンスのばらつきをモデル化するために、累積分布関数（CDF）と分位数関数を用いる。
• 異なる環境間で共通スケールにマッピングする関数 g(x,j) を用いてスコアを正規化し、比較可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのRLアルゴリズムが、ハイパーパrameterチューニングを最小限に抑えつつ、多様な環境で高いパフォーマンスを発揮するか？
• RQ2 RLにおけるパフォーマンス評価を、より信頼性があり、再現可能で科学的に厳密にする方法は何か？
• RQ3 RLの結果における不確実性とばらつきが、アルゴリズムの比較と選定に与える影響は何か？
• RQ4 特定の環境を好むことなく、多様な環境間でアルゴリズムを公平に比較できる統一された評価フレームワークは可能か？
• RQ5 パフォーマンス測定における不確実性は、評価プロセス全体にわたりどのように定量化され、伝播されるか？

主な発見

• Sarsa(λ)-Parl2 と PPO は、すべての環境で一貫して上位にランクされ、Sarsa(λ)-Parl2 はグリッドワールド10デターミニスティック（平均：-12.2）とピンバックルシングル（平均：3754.6）で最高の平均パフォーマンスを達成した。
• パフォーマンスパーセンタイルは、パフォーマンススコアのスケールが異なる環境間で効果的に正規化し、公平な比較を可能にする。例えば、Sarsa-Parl2 はピンバックルボックスで平均パフォーマンス8823.2を達成し、95％信頼区間（8513.4, 8998.4）を示した。
• パフォーマンスバウンドプロパゲーション（PBP）は不確実性を効果的に定量化し、信頼区間が頑健な境界を提供した。例えば、PPO のピンバックルボックスでのパフォーマンスは 5184.6 ± 262.8（95％CI）であった。
• NAC-TD のようなアルゴリズムは一貫して低性能であり、すべての環境で最悪の平均パフォーマンス（例：ピンバックルシングルで -1229.4）を示した。これは、この評価フレームワークがこうした結果を露呈する価値を持つことを示している。
• この手法により、平均パフォーマンスが高いアルゴリズムが常により頑健であるとは限らないことが明らかになった。例えば、Q(λ) と Q(λ)-s は高い分散（例：グリッドワールド10確率的で 95％CI：(-379.2, -326.9)）を示し、不安定さが裏付けられた。
• 評価フレームワークは公平で非搾取的な比較を可能にした。正規化や環境の重み付けによって特定のアルゴリズムが好まれることなく、標準の研究者が再現可能な計算リソースで結果を再現できる。