[論文レビュー] A comparison of methods for model selection when estimating individual treatment effects

Alejandro Schuler, Michael Baiocchi+2 more|arXiv (Cornell University)|Apr 14, 2018

Advanced Causal Inference Techniques被引用数 30

ひとこと要約

本稿では、個々の処置効果推定のためのモデル選択指標として、R-learnerに基づく推定処置リスク（$ widehat{\tau\text{-risk}}_R$）を提案する。シミュレーションを通じて、検証セットでこの指標を最適化することで、真の処置リスクが最小となるモデルを一貫して選択できることを示しており、IPTW や DR に基づく指標と比較しても優れている。これは、政策価値を最大化することを目的とした場合でも同様に成り立つ。

ABSTRACT

Practitioners in medicine, business, political science, and other fields are increasingly aware that decisions should be personalized to each patient, customer, or voter. A given treatment (e.g. a drug or advertisement) should be administered only to those who will respond most positively, and certainly not to those who will be harmed by it. Individual-level treatment effects can be estimated with tools adapted from machine learning, but different models can yield contradictory estimates. Unlike risk prediction models, however, treatment effect models cannot be easily evaluated against each other using a held-out test set because the true treatment effect itself is never directly observed. Besides outcome prediction accuracy, several metrics that can leverage held-out data to evaluate treatment effects models have been proposed, but they are not widely used. We provide a didactic framework that elucidates the relationships between the different approaches and compare them all using a variety of simulations of both randomized and observational data. Our results show that researchers estimating heterogenous treatment effects need not limit themselves to a single model-fitting algorithm. Instead of relying on a single method, multiple models fit by a diverse set of algorithms should be evaluated against each other using an objective function learned from the validation set. The model minimizing that objective should be used for estimating the individual treatment effect for future individuals.

研究の動機と目的

• 標準的なテストセット損失では観測されない潜在的アウトカムのため、個々の処置効果（ITE）モデルのモデル選択に関する合意が得られていない現状を是正すること。
• 多様なITE推定アルゴリズム（例：T-learner、R-learner、ランダムフォレスト、勾配ブースティング）の間で選択可能な複数の検証ベース指標を評価・比較すること。
• ランダム化および観察的研究の両設定において、真の処置リスクが最小でかつ政策価値が最大となるモデルを最も信頼性高く同定できるモデル選択指標を特定すること。
• 単一のアルゴリズムやヒューリスティックに依存しない、実用的で客観的なITEモデル選択フレームワークを提供すること。

提案手法

• 本研究では、潜在的アウトカムが既知のランダム化および観察的研究データをシミュレーションし、制御された条件下でモデルの性能を評価する。
• T-learner、R-learner、リッジ回帰、勾配ブースティングなどの多様なアルゴリズムを用いて個々の処置効果を推定し、複数の検証セット指標（$\\widehat{\\tau\text{-risk}}_R$、$\\widehat{\\tau\text{-risk}}_{IPTW}$、$\\widehat{\\tau\text{-risk}}_{match}$、$\\widehat{\\mu\text{-risk}}$、$\\widehat{\\mu\text{-risk}}_{IPTW}$、$\\hat{v}_{IPTW}$、$\\hat{v}_{DR}$）を計算する。
• モデル選択は、各検証指標を最小化するモデルを選択することで行い、テストセットにおける真の$\\tau$-リスクと政策価値$v^{(\\mathcal{S})}$を用いて性能を評価する。
• R-learnerに基づく$\\widehat{\\tau\text{-risk}}_R$は、R-learnerフレームワークから導出される。R-learnerは、処置群および対照群におけるアウトカム予測を組み合わせた損失関数を最小化することで処置効果を推定する。
• 各選択基準の信頼性を評価するため、検証セットの指標と真のテストセット性能との相関を比較する。
• 推定器のバイアスは認識されているが、モデル間の相対的比較を目的としているため、モデル選択においてはそれほど重要ではないとみなされる。

実験結果

リサーチクエスチョン

• RQ1 多様なデータ生成プロセスにおいて、どの検証セット指標が真の処置リスクが最小となるモデルを最も一貫して選択するか？
• RQ2 共変量の交絡が生じる観察的研究設定とランダム化設定の両方において、モデル選択の性能はどのように変化するか？
• RQ3 政策価値指標（$\\hat{v}_{IPTW}$、$\\hat{v}_{DR}$）に基づいてモデルを選択することは、$\\tau$-リスク指標に基づく選択よりも、最終的な政策パフォーマンスを向上させるか？
• RQ4 一貫して他の指標を上回る性能を示す、広範な推定アルゴリズムおよびデータ設定に適用可能な単一のモデル選択指標が存在するか？
• RQ5 IPTW、マッチング、R-learnerなどの異なる$\\tau$-リスク推定器は、真の性能に基づくモデルの順序付け能力において、どのように比較されるか？

主な発見

• R-learnerに基づく$\\widehat{\\tau\text{-risk}}_R$は、特にランダム化設定において、真の$\\tau$-リスクが最小となるモデルを同定するという点で、他のすべての検証セット指標を一貫して上回る。
• 政策価値$v^{(\\mathcal{S})}$を最大化することを目的とした場合でも、$\\widehat{\\tau\text{-risk}}_R$に基づく選択が、$\\hat{v}_{IPTW}$ や $\\hat{v}_{DR}$ よりも優れたパフォーマンスを示す。これらは真の$v^{(\\mathcal{S})}$に対して不偏であるが、それでも最適でない。
• $\\widehat{\\mu\text{-risk}}$ および $\\widehat{\\mu\text{-risk}}_{IPTW}$ は良好に機能し、ランダム化設定では同等の性能を示すが、モデル選択の正確性において $\\widehat{\\tau\text{-risk}}_R$ に劣る。
• すべての$\\tau$-リスク推定器は上向きバイアスを示すが、このバイアスはモデルの相対的順序付け能力に影響を及ぼさない。相対的な差が情報として有効なまま保たれる。
• 真の処置効果が存在しない状況（例：シミュレーション1および9）では、すべてのモデルが同一の性能を示すため、指標がモデルの同等性を正しく反映していることが確認された。
• 結果から、モデルのパフォーマンスはアルゴリズムに強く依存することが明らかになった。例えば、R-learners、T-learners、リッジ回帰モデルは、異なるシミュレーション設定でそれぞれ他のモデルを上回る。これは、アルゴリズムの固定に頼らず、モデル選択の重要性を強調している。