[論文レビュー] Measuring the Reliability of Reinforcement Learning Algorithms

Stephanie C. Y. Chan, Samuel H. Fishman+3 more|arXiv (Cornell University)|Dec 10, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 41

ひとこと要約

論文は、時間、実行、固定ポリシー ロールアウト全体の分散とリスクを定量化する一連のオープンソースの信頼性指標を定義し、比較のための非パラメトリック検定を提供します。

ABSTRACT

Lack of reliability is a well-known issue for reinforcement learning (RL) algorithms. This problem has gained increasing attention in recent years, and efforts to improve it have grown substantially. To aid RL researchers and production users with the evaluation and improvement of reliability, we propose a set of metrics that quantitatively measure different aspects of reliability. In this work, we focus on variability and risk, both during training and after learning (on a fixed policy). We designed these metrics to be general-purpose, and we also designed complementary statistical tests to enable rigorous comparisons on these metrics. In this paper, we first describe the desired properties of the metrics and their design, the aspects of reliability that they measure, and their applicability to different scenarios. We then describe the statistical tests and make additional practical recommendations for reporting results. The metrics and accompanying statistical tools have been made available as an open-source library at https://github.com/google-research/rl-reliability-metrics. We apply our metrics to a set of common RL algorithms and environments, compare them, and analyze the results.

研究の動機と目的

• seed、環境、および実装の高いばらつきのために、RLにおける信頼性を定量化する必要性を動機づける。
• 学習中および学習後の複数の側面を捉える一般用途の信頼性指標を定義する。
• 分散とリスク、学習中の評価と学習後の評価を区別する。
• 厳密で比較可能な信頼性分析を可能にする統計ツールと報告推奨を提供する。

提案手法

• 三つの変動軸を定義する：学習中の時間の変動、学習中の実行の変動、および学習後に固定ポリシーのロールアウトを横断する変動。
• 各軸に対して二つの変動の測度を用いる：分散（IQRのようなロバスト統計量）とリスク（CVaR）を用いて裾の厚さを捉える。
• 時間をまたぐ分散を計算するために、学習曲線をデトレンドし、スライディングウィンドウ内でIQRを適用する。
• 時間をまたぐ短期リスクを、性能の一階差分にCVaRを適用して計算する。
• 時間をまたぐ長期リスクを、ランニングピークへのドローダウンにCVaRを適用して計算する。
• 実行間の分散を、低域通過フィルタリングされた実行性能のIQRとして計算する；実行間のリスクをCVaRとして計算する。
• 固定ポリシー・ロールアウトの分散を、固定ポリシーのロールアウトのIQRとして計算する；固定ポリシー・ロールアウトのリスクをそれらのロールアウトに対してCVaRとして計算する。
• 評価頻度の不変性に対処し、ブートストラップ信頼区間と置換検定を比較のために用いる。
• ウィンドウサイズ、フィルタリング、評価頻度など、明確に指定されたパラメータで全指標を報告し、公正な比較を可能にする正規化を推奨する。

実験結果

リサーチクエスチョン

• RQ1 環境やシードを跨いだ平均/中央値の性能を超えて、RLにおける信頼性をどのように定量化できるか？
• RQ2 アルゴリズムと環境を跨いだ信頼性指標を比較するための頑健な統計ツールは何か？
• RQ3 信頼性のパターンは中央値の性能と一致するのか、それとも乖離するのか、環境ごとの分析は強み・弱みを明らかにできるのか？
• RQ4 研究間の公平で再現可能な比較を可能にする結果の報告方法はどうあるべきか？

主な発見

• 信頼性指標は、中央値の性能だけでは捉えられない差をしばしば明らかにする；強い平均性能を持つアルゴリズムでも信頼性が低いことがあり、その逆もありうる。
• 連続制御実験では、SACとTD3は学習中の信頼性が高いことを示すが、学習後の信頼性では学習時の性能に比べて下回る可能性がある。
• Atari実験では、Rainbowが中央値性能で優れるかもしれないが、IQNは複数の指標でより高い信頼性を示すことがある。
• 信頼性のパターンは環境によって異なることがあり、総合的な結果とともに環境別分析の価値を強調する。
• この研究には、指標と統計ツールの普及を促進するオープンソースのPythonパッケージが付随している。