[論文レビュー] Bootstrapping Statistical Inference for Off-Policy Evaluation.

Botao Hao, Xiang Ji+4 more|arXiv (Cornell University)|Feb 6, 2021

Reinforcement Learning in Robotics参考文献 43被引用数 6

ひとこと要約

本稿では、オフポリシー評価のためのブートストラップFQE手法を提案し、政策評価誤差の漸近的効率性および分布的一致性のある推論を可能にする。サブサンプリング手順を適応させることで、信頼区間推定、分散推定、複数の評価者間の相関分析においても正確性を維持しながら、実行時間を10倍速くした。

ABSTRACT

Bootstrapping provides a flexible and effective approach for assessing the quality of batch reinforcement learning, yet its theoretical property is less understood. In this paper, we study the use of bootstrapping in off-policy evaluation (OPE), and in particular, we focus on the fitted Q-evaluation (FQE) that is known to be minimax-optimal in the tabular and linear-model cases. We propose a bootstrapping FQE method for inferring the distribution of the policy evaluation error and show that this method is asymptotically efficient and distributionally consistent for off-policy statistical inference. To overcome the computation limit of bootstrapping, we further adapt a subsampling procedure that improves the runtime by an order of magnitude. We numerically evaluate the bootrapping method in classical RL environments for confidence interval estimation, estimating the variance of off-policy evaluator, and estimating the correlation between multiple off-policy evaluators.

研究の動機と目的

• ブートストラップ法がオフポリシー評価（OPE）において理論的に理解されていない点を解決すること。
• 政策評価誤差の推論において、漸近的効率性および分布的一致性を保証するブートストラップFQE手法を開発すること。
• サブサンプリングの適応により、ブートストラップの計算コストを低減し、標準的なブートストラップと比較して実行時間を10倍速くすること。
• 信頼区間、複数の評価者間の分散、および相関関係の推定における、本手法の性能を評価すること。

提案手法

• バッチデータから再サンプリングすることで、政策評価誤差の標本分布を推論するブートストラップFQE手法を提案する。
• 表形式および線形モデル設定下で、FQEのミニマックス最適性を仮定した場合に、本手法が漸近的効率性および分布的一致性を示す理論的保証を確立する。
• 計算コストを低減するため、サブサンプリング手順を適応させ、標準的なブートストラップと比較して10倍の高速化を達成する。
• 古典的RL環境において、信頼区間、オフポリシー評価者の分散、および複数の評価者間の対比較相関を推定するために本手法を適用する。
• フィットドQ評価フレームワークをベース推定器として採用し、そのミニマックス最適性を活用して強固な統計的性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 ミニマックス最適なFQEをベース推定器として用いる場合、オフポリシー評価におけるブートストラップ法は理論的に正当化できるか？
• RQ2 提案されたブートストラップFQE手法は、政策評価誤差の推論において漸近的効率性および分布的一致性を達成するか？
• RQ3 大規模なOPEにおいて、統計的精度を損なわずにブートストラップを計算的に実行可能にする方法は何か？
• RQ4 本手法の信頼区間、評価者分散、および複数のオフポリシー評価者間の相関関係の推定における実証的性能はいかがなっているか？

主な発見

• 提案されたブートストラップFQE手法は、漸近的効率性および分布的一致性を達成し、政策評価誤差の信頼性ある推論を保証する。
• サブサンプリングの適応により、実行時間が10倍速くなり、大規模なオフポリシー評価においてブートストラップが実用可能になる。
• 実証的結果から、古典的RL環境において信頼区間の推定が正確に行われており、本手法の信頼性が裏付けられている。
• 本手法は、オフポリシー評価者の分散および複数の評価者間の相関関係を効果的に推定できており、実用的状況における頑健性を示している。