[論文レビュー] Statistical Bootstrapping for Uncertainty Estimation in Off-Policy Evaluation

Ilya Kostrikov, Ofir Nachum|arXiv (Cornell University)|Jul 27, 2020

Simulation Techniques and Applications参考文献 34被引用数 15

ひとこと要約

本稿では、強化学習におけるオフポリシー評価（OPE）のための補正付き信頼区間を生成するためにEfronのブートストラップを提案する。特に、モデルベース（MB）およびQ評価（QE/FQE）手法に焦点を当てている。ブートストラップが有効な信頼区間を生成するための理論的条件——十分なデータサイズおよびカバレッジ——を確立し、低データ量またはカバレッジが不十分な状況でも耐性を高めるためにノイズ注入と正則化を導入することで、連続的制御ベンチマークで最先端の不確実性推定を達成した。

ABSTRACT

In reinforcement learning, it is typical to use the empirically observed transitions and rewards to estimate the value of a policy via either model-based or Q-fitting approaches. Although straightforward, these techniques in general yield biased estimates of the true value of the policy. In this work, we investigate the potential for statistical bootstrapping to be used as a way to take these biased estimates and produce calibrated confidence intervals for the true value of the policy. We identify conditions - specifically, sufficient data size and sufficient coverage - under which statistical bootstrapping in this setting is guaranteed to yield correct confidence intervals. In practical situations, these conditions often do not hold, and so we discuss and propose mechanisms that can be employed to mitigate their effects. We evaluate our proposed method and show that it can yield accurate confidence intervals in a variety of conditions, including challenging continuous control environments and small data regimes.

研究の動機と目的

• オフポリシー評価（OPE）における信頼性の高い不確実性推定の欠如、特にモデルベースおよびQ評価手法のようなバイアスの強い推定器に対して、それを解決すること。
• Efronのブートストラップが、直接法（DM）推定値に適用された場合、ターゲット方策の真の値に対する有効な信頼区間を生成できるかどうかを調査すること。
• ブートストラップが漸近的に正確な信頼区間を生成するための理論的条件——具体的には十分なデータサイズおよび十分な状態・行動分布のカバレッジ——を同定すること。
• 理論的条件が満たされない現実のOPEシナリオでブートストラップの失敗を緩和するための実用的メカニズム——報酬ノイズと正則化——を提案すること。
• 表計算および連続的制御環境における提案手法の実証的検証を通し、既存手法と比較して不確実性の補正が向上することを示すこと。

提案手法

• 直接法（DM）推定器、例えばモデルベース（MB）およびフィットドQ評価（FQE）の出力にEfronの非パラメトリックブートストラップを適用し、真の方策価値の信頼区間を生成する。
• ブートストラップが有効であるための理論的条件——十分な標本サイズおよび行動方策による状態・行動分布の十分なカバレッジ——を導出する。
• 低データ量の状況でブートストラップの有効性を向上させるためのヒューリスティックとして報酬ノイズを導入し、推定器の有効な分散を増加させる。
• FQEおよびMBにおけるニューラルネットワークのパラメータにL2正則化（重み減衰）を適用し、特に低データ設定において訓練の安定性とカバレッジの向上を図る。
• モデルベースのロールアウト中に状態および報酬のクリッピングを適用し、発散を防ぎ、ブートストラップ区間の耐性を高める。
• 複数のシードおよび環境（OpenAI Gymベンチマークを含む）において、カバレッジ確率、区間幅、バイアスの指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 Efronのブートストラップが、直接法推定器を用いたオフポリシー評価において信頼区間を推定するために有効である理論的条件は何か？
• RQ2 データサイズが不十分またはカバレッジが不十分な場合、OPEにおけるブートストラップ信頼区間の有効性にどのような影響を与えるか？
• RQ3 理論的仮定が満たされない低データ量の状況で、報酬ノイズの注入がブートストラップ区間の補正を向上させられるか？
• RQ4 L2正則化は、モデルベースおよびFQEベースのOPE手法におけるブートストラップ区間の信頼性をどの程度向上させるか？
• RQ5 連続的制御ベンチマークにおいて、提案されたブートストラップベースの不確実性推定は、重要度サンプリング（IS）に基づく手法と比較して、カバレッジおよび区間幅の点でどの程度優れているか？

主な発見

• 理論的分析により、十分なデータサイズおよびカバレッジが確保されていれば、EfronのブートストラップがDMベースのOPE推定器に対して漸近的に有効な信頼区間を生成することが示された。
• 低データ量の状況（例：10トレーリャー）では、標準的なブートストラップを用いたFQEは、特にReacherにおいて広くかつ補正が悪い区間を生成する。
• 報酬ノイズの注入により、低データ設定における区間カバレッジが顕著に向上するが、その代わりに区間幅が増加する。
• L2正則化は安定した性能を確保するために不可欠である：正則化なしのFQEおよびMBは、極めて不正確で発散するブートストラップ区間を生成する。
• 適切なノイズと正則化を適用した場合、FQEおよびMBにおけるブートストラップは、HalfCheetahやHopperのような連続的制御タスクで最先端の不確実性補正を達成した。
• 特に挑戦的で低データ量の環境において、ISベースのブートストラップよりも区間カバレッジおよび信頼性の点で優れた性能を示した。