[論文レビュー] Balanced Policy Evaluation and Learning

Nathan Kallus|arXiv (Cornell University)|May 21, 2017

Advanced Causal Inference Techniques参考文献 38被引用数 17

ひとこと要約

本稿では、従来の逆確率重み付けに代わる最適なバランス重みを用いて、観測データからのオフポリシー評価および学習のための新しいバランスベースのアプローチを提案する。この方法は、最悪ケース誤差を直接最小化することで、データの除外を回避し、より安定的で効率的な最適化を可能にし、推定精度とポリシー学習を向上させる。弱い仮定のもとで一貫性とレグルレーションバウンドを保証する理論的根拠を有する。

ABSTRACT

We present a new approach to the problems of evaluating and learning personalized decision policies from observational data of past contexts, decisions, and outcomes. Only the outcome of the enacted decision is available and the historical policy is unknown. These problems arise in personalized medicine using electronic health records and in internet advertising. Existing approaches use inverse propensity weighting (or, doubly robust versions) to make historical outcome (or, residual) data look like it were generated by a new policy being evaluated or learned. But this relies on a plug-in approach that rejects data points with a decision that disagrees with the new policy, leading to high variance estimates and ineffective learning. We propose a new, balance-based approach that too makes the data look like the new policy but does so directly by finding weights that optimize for balance between the weighted data and the target policy in the given, finite sample, which is equivalent to minimizing worst-case or posterior conditional mean square error. Our policy learner proceeds as a two-level optimization problem over policies and weights. We demonstrate that this approach markedly outperforms existing ones both in evaluation and learning, which is unsurprising given the wider support of balance-based weights. We establish extensive theoretical consistency guarantees and regret bounds that support this empirical success.

研究の動機と目的

• 逆確率重み付けに依存する既存のオフポリシー評価および学習手法が、高い分散とデータの除外を抱えるという限界を是正すること。
• 従来の2段階のプラグイン手法とは異なり、ポリシー評価と学習を統合した1段階のフレームワークを構築すること。
• 有限標本における歴史的データとターゲットポリシーの間のバランスを直接最適化することで、推定効率とポリシー性能を向上させること。
• 無作為化と強いオーバーラップの仮定のもとで、提案手法の理論的一貫性とレグルレーションバウンドを確立すること。
• 観測データからのパーソナライズド意思決定において、二重にロバストな手法や逆確率重み付け手法の代替として、計算的に堅牢な手法を提供すること。

提案手法

• 本手法は、有限標本において重み付けされた歴史的データとターゲットポリシーの分布との乖離を最小化するバランス重みを構築する。これは、ポリシーと重みの2段階最適化を用いる。
• 評価は、重み付けされた結果の加重平均として定式化され、重みは処置間の共変量分布をバランスさせるように選ばれ、重み付けされたデータがターゲットポリシーを模倣するようにする。
• 関数空間の複雑さを制御し、安定性を確保するためにカーネルベースの正則化を用いる。重みは二次計画法により最適化され、最悪ケース誤差または後件条件平均二乗誤差を最小化する。
• ポリシー学習器は、これらの重みを1つの最適化問題に統合し、従来の手法の2段階構造を回避し、分散を低減する。
• 理論的分析は、経験過程論に基づき、ラデマッハ複雑度を用いて推定誤差とレグルレーションをバウンドする。強いオーバーラップと無作為化が主な仮定である。
• 結果回帰とバランス重みを組み合わせた二重にロバストなバージョンに拡張され、モデル誤指定に対するロバストネスが向上する。

実験結果

リサーチクエスチョン

• RQ1 バランスベースの重み付け方式は、観測データからのオフポリシー評価および学習において、逆確率重み付けを上回る性能を示すか？
• RQ2 バランス重みに基づく1段階最適化フレームワークは、2段階アプローチと比較して、統計的効率性と低いレグルレーションを達成するか？
• RQ3 標準的な因果推論の仮定のもとで、提案されたバランス手法の理論的一貫性とレグルレーションバウンドは何か？
• RQ4 本手法は、傾向スコアが0に近い場合を含め、モデル誤指定や高次元共変量に対し、どのように対処するか？
• RQ5 バランス重み付けを、結果モデリングと重み最適化を組み合わせた二重にロバストなバージョンに拡張できるか？

主な発見

• 提案されたバランスベースの手法は、数値実験を通じて、既存の逆確率重み付けおよび二重にロバストな手法を著しく上回る性能を、オフポリシー評価およびポリシー学習の両タスクで示した。
• 本手法は、$ O_p(\tilde{\frak{R}}_n(\tilde{\boldsymbol{\nu}}) + 1/\tilde{n}) $ のレグルレーションバウンドを達成し、$ \tilde{\frak{R}}_n(\tilde{\boldsymbol{\nu}}) $ がポリシークラスのラデマッハ複雑度であるため、強い理論的一貫性を示している。
• 強いオーバーラップと有界な残差のもとで、$ \textstyle \text{sup}_{\pi \in \Pi} |\hat{\tau}_{W^{*}(\pi)} - \text{SAPE}(\pi)| $ の一様推定誤差が高確率で有界であり、カーネルノルムと正則化パラメータを含む明示的な定数を伴う。
• カーネルが $ C_0 $-ユニバーサルであり、ポリシークラスの複雑さが消える場合、本手法は $ o_p(1) $ のレグルレーションを達成し、漸近的最適性を示す。
• 二重にロバストなバージョンは、$ \|\hat{\mu}_{nt} - \mu_t\|_{\mathcal{K}_t} = o_p(1) $ のような弱い条件下でも同じレグルレーションバウンドを維持し、結果モデルの誤差に対するロバストネスを強化する。
• 無作為化、強いオーバーラップ、有界な残差のもとで理論的保証が確立され、推定誤差に対する明示的な高確率バウンドが得られた。