[論文レビュー] Policy Evaluation and Optimization with Continuous Treatments

Nathan Kallus, Angela Zhou|arXiv (Cornell University)|Feb 16, 2018

Advanced Causal Inference Techniques参考文献 3被引用数 43

ひとこと要約

この論文は、連続治療を用いたオフポリシー評価とポリシー学習を、カーネルベースのインバースプロポンシティ重み付け手法で拡張し、バイアス/分散の結果と一貫性を確立し、Warfarin用量決定のケーススタディを用いた連続ポリシー最適化（CPO）を実証します。カーネル化された OPE は最良クラスのポリシーに収束し、離散化ベンチマークよりも優れていることを示しています。

ABSTRACT

We study the problem of policy evaluation and learning from batched contextual bandit data when treatments are continuous, going beyond previous work on discrete treatments. Previous work for discrete treatment/action spaces focuses on inverse probability weighting (IPW) and doubly robust (DR) methods that use a rejection sampling approach for evaluation and the equivalent weighted classification problem for learning. In the continuous setting, this reduction fails as we would almost surely reject all observations. To tackle the case of continuous treatments, we extend the IPW and DR approaches to the continuous setting using a kernel function that leverages treatment proximity to attenuate discrete rejection. Our policy estimator is consistent and we characterize the optimal bandwidth. The resulting continuous policy optimizer (CPO) approach using our estimator achieves convergent regret and approaches the best-in-class policy for learnable policy classes. We demonstrate that the estimator performs well and, in particular, outperforms a discretization-based benchmark. We further study the performance of our policy optimizer in a case study on personalized dosing based on a dataset of Warfarin patients, their covariates, and final therapeutic doses. Our learned policy outperforms benchmarks and nears the oracle-best linear policy.

研究の動機と目的

• 連続アクション空間を超えた離散アクション空間を超えたオフポリシー評価と最適化の必要性を動機づける。
• batched 観察データを用いてポリシーを評価するためのカーネルスムージングIPW/DR推定量を開発する。
• バイアス、分散、平均二乗誤差を分析して一貫性と最適バンド幅を確立する。
• 連続ポリシーオプティマイザーの一貫性を証明し、最良クラスのポリシーへ収束することを示す。

提案手法

• 連続治療の一般化プロペンシティスコアを定義し、連続アクションのIPWに拒否サンプリングを緩和するためにカーネルを使用する。
• 連続治療オフポリシ evaluator hat{v}_{tau} = (1/(n h)) sum_i K((tau(x_i) - t_i)/h) * (y_i / Q_i).
• 分散を減らすための自己正規化版 hat{v}_{tau}^{norm} を導入する。
• 標準的な仮定の下でバイアス、分散、MSEの結果を導出し、漸近的に最適なバンド幅 h* = Theta(n^{-1/5}) を特定する。
• 連続ポリシー最適化をポリシークラス T 上の加重経験リスク最小化として定式化し、実務的な最適化（非凸性、ランダム再起動）について論じる。

実験結果

リサーチクエスチョン

• RQ1 治療が連続である場合に、バッチ観察データを用いてポリシーを推定・最適化できるのか。
• RQ2 カーネルベースの連続オフポリシー評価のバイアスと分散の特性はどうで、バンド幅はどう選ぶべきか。
• RQ3 提案手法の連続ポリシー最適化は、制約付きポリシークラス内で最良クラスのポリシーへ収束するのか。
• RQ4 特に医療用量設定の設定で、離散化ベンチマークや直接法と比較してカーネル化された連続OPEは実務でどのように機能するのか。
• RQ5 Warfarin用量決定のケーススタディから、個別化とポリシー性能についてどんな洞察が得られるのか。

主な発見

• 連続治療を含むカーネル化オフポリシー評価は、標準的な因果推論の前提（非混乱と共通サポート）の下で一貫性を持つ。
• 推定量のバイアスは O(h^2) で、分散は O(1/(n h))、したがって最適なバンド幅は h* = Theta(n^{-1/5})。
• 自己正規化版の推定量は一貫性を維持し、分散を低減できる。
• 連続OPEを用いたポリシー最適化は、検討されたクラス内での最良クラスのポリシーに対して後悔をゼロへ近づける収束を達成する。
• 合成データとWarfarin用量決定の実験結果は、連続アプローチが離散化ベンチマークを上回り、理想的なベースラインの最良線形ポリシーに近づくことを示す。