[論文レビュー] Off-Policy Evaluation and Learning for External Validity under a Covariate Shift

Masahiro Kato, Masatoshi Uehara+1 more|arXiv (Cornell University)|Feb 26, 2020

Advanced Causal Inference Techniques参考文献 43被引用数 12

ひとこと要約

本稿は、履歴データと評価データの共変量分布が異なる共変量シフト下でのオフポリシー評価（OPE）およびオフポリシー学習（OPL）のための二重にロバストで効率的な推定量を提案する。非パラメトリックな密度比推定とクロスフィットを活用することで、推定量は効率性の限界に達し、モデルの誤指定に対してもロバストである。実験的評価では、複数のデータセットにおいて標準的なOPE手法を上回る性能を示した。

ABSTRACT

We consider evaluating and training a new policy for the evaluation data by using the historical data obtained from a different policy. The goal of off-policy evaluation (OPE) is to estimate the expected reward of a new policy over the evaluation data, and that of off-policy learning (OPL) is to find a new policy that maximizes the expected reward over the evaluation data. Although the standard OPE and OPL assume the same distribution of covariate between the historical and evaluation data, a covariate shift often exists, i.e., the distribution of the covariate of the historical data is different from that of the evaluation data. In this paper, we derive the efficiency bound of OPE under a covariate shift. Then, we propose doubly robust and efficient estimators for OPE and OPL under a covariate shift by using a nonparametric estimator of the density ratio between the historical and evaluation data distributions. We also discuss other possible estimators and compare their theoretical properties. Finally, we confirm the effectiveness of the proposed estimators through experiments.

研究の動機と目的

• 履歴データと評価データの共変量分布が異なる、すなわち共変量シフトが生じる状況におけるオフポリシー評価と学習の課題に取り組むこと。
• 共変量シフト下でのOPEの効率性の限界を導出することにより、推定精度の理論的下限を確立すること。
• 効率的（効率性の限界に達すること）かつ二重にロバスト（密度比または行動方策モデルのいずれかが正しく指定されていれば一貫性を保つ）推定量を開発すること。
• Donsker条件を要件としないで、モデルの誤指定に対してロバスト性を確保するため、推定手順にクロスフィットを適用すること。
• 複数の実世界データセットを用いた実験的検証を通じて、提案手法の推定量が標準的なOPE手法を上回ることを示すこと。

提案手法

• 共変量シフト下でのOPEの効率性の限界を導出し、任意の正則推定量の理論的最小分散を定義する。
• 非パラメトリックな密度比推定（Kanamoriら, 2012年）を用い、逆確率重量付き推定とアウトカム回帰を組み合わせた、二重にロバストで効率的な推定量（DRCS）を提案する。
• ヌイアンス推定量にDonsker型の条件を課さないために、クロスフィットを適用し、高次元または複雑な設定でもロバスト性を高める。
• 評価データと履歴データの分布間の密度比の非パラメトリック推定量を用いて、共変量シフトを補正する。
• 推定された密度比を二重にロバストなOPEフレームワークに統合し、行動方策または条件付きアウトカムモデルのいずれかが正しく指定されていれば一貫性を保証する。
• 効率的OPE推定量をポリシー最適化の代理目的関数として用いることで、フレームワークをオフポリシー学習へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 共変量シフト下でのオフポリシー評価の理論的効率性の限界は何か？
• RQ2 共変量シフト下で、効率的かつ二重にロバストなOPE推定量を構築できるか？
• RQ3 強い関数的制約に依存せずに、共変量シフト下でのOPEにおけるモデル誤指定に対するロバスト性をどのように確保できるか？
• RQ4 共変量シフトは標準的なOPE手法にどのような影響を及ぼすか？提案手法はその影響をどのように軽減するか？
• RQ5 提案されたOPEフレームワークは、共変量シフト下でのオフポリシー学習に効果的に拡張可能か？

主な発見

• 提案されたDRCS推定量は、ヌイアンス推定量にやや弱い非パラメトリックレート条件が満たされれば、効率性の限界に達し、最適な推定精度を達成する。
• DRCS推定量は二重にロバストである：密度比または行動方策モデルのいずれかが正しく指定されていれば一貫性を保つ。
• SatImage、Vehicle、PenDigitsのデータセットにおける実験結果から、IPW、DM、IPW-Rといった標準的手法と比較して、DRCSは平均二乗誤差（MSE）を顕著に低減することが分かった。
• オフポリシー学習において、DRCSに基づくポリシーはベースライン手法を上回り、期待報酬が高くなる（例：0.7πd+0.3πu行動方策下で0.683 RWD vs. IPWの0.241）。
• サンプル分割を用いるDRCS-SNバージョンは、複数のデータセットおよびサンプルサイズで安定した性能を示し、クロスフィットの有効性を裏付けた。
• 異なる行動方策や評価データの分布に対しても一貫した性能を示すことで、共変量シフトを効果的に処理できていることが裏付けられた。