[論文レビュー] On Minimax Optimal Offline Policy Evaluation

Lihong Li, Rémi Munos+1 more|arXiv (Cornell University)|Sep 12, 2014

Advanced Bandit Algorithms Research参考文献 19被引用数 14

ひとこと要約

この論文は、有限MDPおよびマルチアームドバンディットにおけるオフライン方策評価について、最小最大最適な境界を確立し、標準的な2つの推定法である尤度比（LR）推定法と回帰（REG）推定法の平均二乗誤差（MSE）を分析する。REG推定法は、行動数や報酬分散に依存する定数要因を除けば最小最大最適であることが示され、一方LR推定法は重要度重みへの感受性のため、任意に悪い性能を示しうることを示している。

ABSTRACT

This paper studies the off-policy evaluation problem, where one aims to estimate the value of a target policy based on a sample of observations collected by another policy. We first consider the multi-armed bandit case, establish a minimax risk lower bound, and analyze the risk of two standard estimators. It is shown, and verified in simulation, that one is minimax optimal up to a constant, while another can be arbitrarily worse, despite its empirical success and popularity. The results are applied to related problems in contextual bandits and fixed-horizon Markov decision processes, and are also related to semi-supervised learning.

研究の動機と目的

• 有限MDPおよびマルチアームドバンディットにおけるオフライン方策評価の根本的な有限標本性能限界を確立すること。
• 平均二乗誤差（MSE）基準における方策価値推定の最小最大リスク下界を分析すること。
• 広く用いられる2つの推定法—尤度比（LR）と回帰（REG）—の性能を、この最小最大下界と比較すること。
• 回帰推定法の漸近的効率性が、有限標本設定において最適性にどのように対応するかを特定すること。
• 結果を文脈付きバンディットおよび固定ホライズンMDPに拡張し、半教師あり学習および方策最適化へのインパクトを議論すること。

提案手法

• 報酬平均と分散の最悪ケース分布を用いて、マルチアームドバンディットにおけるオフライン方策評価の最小最大リスク下界を導出する。
• 尤度比（LR）推定法のMSEを分析し、最小最大下界に対して制御不能な乗法的要因が生じることを示す。
• 各行動ごとの平均報酬を標本平均で推定する回帰（REG）推定法を提案し、そのMSEの境界を導出する。
• REG推定法のMSEが最小最大リスクの定数倍の範囲内にあることを確立し、その定数は $ K $（行動数）または逆報酬分散に依存する。
• 固定ホライズンMDPに結果を拡張する際、ホライズン全体の各状態行動ペアを1つの行動とみなすことで、バンドイットの結果を拡張された行動空間に適用する。
• 軌道を有効な行動に集約することでMDPからマルチアームドバンディットへの還元を行い、MDPにバンドイットの結果を適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチアームドバンディットにおけるオフライン方策評価の最小最大リスク下界は、平均二乗誤差基準下でどのように定式化されるか？
• RQ2 尤度比（LR）推定法の性能は最小最大下界とどのように比較されるか。また、なぜ重要度重みへの感受性に起因するのか？
• RQ3 回帰（REG）推定法は、有限標本設定において普遍的定数の意味で最小最大最適か？
• RQ4 REG推定法のMSEにおける行動数 $ K $ への依存性は回避可能か、それとも避けがたいのか？
• RQ5 これらの結果は、文脈付きバンディットや固定ホライズンMDPといったより複雑な設定にどのように拡張されるか？

主な発見

• マルチアームドバンディットにおけるオフライン方策評価の最小最大リスク下界は、$ R_n^* \triangleq \frac{1}{n} \text{Var}(w) + \frac{1}{n} \text{Var}(r) $ とスケーリングされ、ここで $ w $ は重要度重み、$ r $ は報酬である。
• 尤度比（LR）推定法のMSEは $ (V_1 + V_2)/n $ であり、重要度重みの分散に関連する制御不能な要因のため、最小最大下界よりも厳密に悪い。
• 回帰（REG）推定法は、最小最大リスクの定数倍 $ C $ の範囲内にMSEを達成する。ここで $ C = MK\big\{\min(4MK, \max_{x,a} r_{\Phi}^2(x,a)/\sigma_{\Phi}^2(x,a)) + 5\big\} $ であり、この定数は $ K $ と報酬分散に依存する。
• REG推定法のMSEにおける $ K $ への依存性は避けがたく、特に低ノイズ設定では、$ K $ に比例する下界が示されている。
• 小標本サイズ（$ \sqrt{K} $ まで）では、すべての推定法が定数のMSEを示し、有限標本における根本的な制限を示している。
• 固定ホライズンMDPでは、最小最大リスク下界は $ \max_B \left\{ \sum_{(x,a)\in B} \mu(x,a) \right\}^2 \left(1 - \sum_{\tau} \mu_D(\tau) \right)^n + V_1/n $ とスケーリングされ、REG推定法のMSEは依然としてこの下界の定数倍の範囲内にあり、定数は $ N^{H+1}K^H $ のように増加する。