[論文レビュー] Minimax-Optimal Off-Policy Evaluation with Linear Function Approximation

Yaqi Duan, Mengdi Wang|arXiv (Cornell University)|Feb 21, 2020

Advanced Bandit Algorithms Research参考文献 15被引用数 15

ひとこと要約

本稿では、線形関数近似を用いたオフポリシー評価のための回帰ベースのフィットドQイテレーション手法を提案し、マルコフ過程の収縮性とマルティングゲル濃度の性質を活用することで、最小最大最適な推定誤差を達成することを証明している。主な結果として、誤差がターゲット方策と行動方策の状態行動分布間の制限付きχ²ダイバージェンスに比例することを示しており、これは最悪ケースの密度比よりも著しく小さくなる可能性があるため、データ効率の高い評価が可能になる。

ABSTRACT

This paper studies the statistical theory of batch data reinforcement learning with function approximation. Consider the off-policy evaluation problem, which is to estimate the cumulative value of a new target policy from logged history generated by unknown behavioral policies. We study a regression-based fitted Q iteration method, and show that it is equivalent to a model-based method that estimates a conditional mean embedding of the transition operator. We prove that this method is information-theoretically optimal and has nearly minimal estimation error. In particular, by leveraging contraction property of Markov processes and martingale concentration, we establish a finite-sample instance-dependent error upper bound and a nearly-matching minimax lower bound. The policy evaluation error depends sharply on a restricted $χ^2$-divergence over the function class between the long-term distribution of the target policy and the distribution of past data. This restricted $χ^2$-divergence is both instance-dependent and function-class-dependent. It characterizes the statistical limit of off-policy evaluation. Further, we provide an easily computable confidence bound for the policy evaluator, which may be useful for optimistic planning and safe policy improvement.

研究の動機と目的

• 線形関数近似を用いたオフポリシー評価の有限標本誤差バウンドを確立すること。
• 回帰ベースの手法が、ほぼ一致する最小最大下界を導出することで統計的に最適であることを証明すること。
• 関数クラス上の制限付きχ²ダイバージェンスを用いて、オフポリシー評価の統計的限界を同定すること。
• 安全なポリシー改善を支援する、データ依存の信頼区間を提供すること。
• 関数近似が、表形式の重要度サンプリングと比較して、有利な分布的性質を活用することで推定誤差を著しく低減できることを示すこと。

提案手法

• バッチデータ上で教師あり学習を繰り返し行う回帰ベースのフィットドQイテレーション（FQI）アルゴリズムを用いる。
• FQI手法を、遷移作用素の条件付き平均埋め込みを推定するモデルベースのプラグイン推定量に同一視する。
• マルコフ過程の収縮性を活用して、複数ステップにわたる誤差蓄積を制御し、指数的増大を回避する。
• マルティングゲル濃度不等式を適用して、高確率的制御下での有限標本誤差バウンドを導出する。
• 関数クラス上での制限付きχ²ダイバージェンスを導入し、ターゲット方策と行動方策の分布誤差を測定する。
• FQIアルゴリズムの副産物として、データ依存の信頼区間を導出し、楽観的計画に有用である。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いた場合、オフポリシー評価の統計的限界は何か？
• RQ2 回帰ベースのFQI手法は、オフポリシー評価において最小最大最適な誤差を達成できるか？
• RQ3 ターゲット方策と行動方策の分布間の制限付きχ²ダイバージェンスは、推定誤差にどのように影響するか？
• RQ4 誤差バウンドをデータ依存かつ実用的に計算可能なものにできるか？
• RQ5 関数近似は、表形式の重要度サンプリングと比較して、推定誤差を低減できるか？

主な発見

• 提案手法である回帰ベースのFQIは、$ N $ を遷移回数として、有限標本誤差上界が $ H^{2} \sqrt{ \frac{1 + \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu})}{N} } $ のオーダーで達成される。
• 最小最大下界が上界にほぼ一致することから、線形関数近似を用いたオフポリシー評価において、情報理論的に最適な手法であることが証明された。
• 制限付きχ²ダイバージェンス $ \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu}) $ は、OPEの統計的難易度を捉えており、関数近似の文脈では最悪ケースの密度比よりも著しく小さくなることがある。
• $ N = \Omega(dH^3) $ であれば、マルコフ収縮による線形誤差蓄積のおかげで、ホライズンの呪いを受けることなく済む。
• データと関数クラスに依存する計算可能な信頼区間を提供しており、安全なポリシー改善と責任性の確保に役立つ。
• 有限行列の条件数が $ \chi_{\mathcal{Q}}^{2}(\mu^{\pi}, \bar{\mu}) $ を特徴づけ、データから信頼性高く推定可能である。