[論文レビュー] Estimating Structural Target Functions using Machine Learning and Influence Functions

Alicia Curth, Ahmed M. Alaa+1 more|arXiv (Cornell University)|Aug 14, 2020

Advanced Causal Inference Techniques参考文献 45被引用数 5

ひとこと要約

本稿では、欠損データや粗大化された結果に対して、影響関数を用いて効率的かつ二重にロバストな推定を可能にする、構造的ターゲット関数（例：異質的処置効果）を推定するための機械学習フレームワーク、IF-learnerを紹介する。2つのアルゴリズム、IF-learnerとGroup-IF-learnerを提案し、中心化されていない影響関数から導かれる擬似アウトカムを用いることでバイアス低減を実現し、一部の状況では有効な推論も可能にする。実証的結果では、小標本および中標本において、標準的なプラグイン法よりも優れた性能を示している。

ABSTRACT

We aim to construct a class of learning algorithms that are of practical value to applied researchers in fields such as biostatistics, epidemiology and econometrics, where the need to learn from incompletely observed information is ubiquitous. We propose a new framework for statistical machine learning of target functions arising as identifiable functionals from statistical models, which we call `IF-learning' due to its reliance on influence functions (IFs). This framework is problem- and model-agnostic and can be used to estimate a broad variety of target parameters of interest in applied statistics: we can consider any target function for which an IF of a population-averaged version exists in analytic form. Throughout, we put particular focus on so-called coarsening at random/doubly robust problems with partially unobserved information. This includes problems such as treatment effect estimation and inference in the presence of missing outcome data. Within this framework, we propose two general learning algorithms that build on the idea of nonparametric plug-in bias removal via IFs: the 'IF-learner' which uses pseudo-outcomes motivated by uncentered IFs for regression in large samples and outputs entire target functions without confidence bands, and the 'Group-IF-learner', which outputs only approximations to a function but can give confidence estimates if sufficient information on coarsening mechanisms is available. We apply both in a simulation study on inferring treatment effects.

研究の動機と目的

• 応用統計における不完全または粗大化されたデータを伴う状況において、構造的ターゲット関数を推定する一般用途の機械学習フレームワークの開発を目的とする。
• 異質的処置効果のような複雑なパラメータに対するデータ適応型機械学習推定量における統計的保証の欠如を解決することを目的とする。
• 真の影響関数が解析的に得られない場合でも、影響関数を用いてターゲットパラメータの効率的かつ二重にロバストな推定を可能にすることを目的とする。
• モデルや問題に依存しないアプローチを提供し、ターゲット関数全体の推定および、一部の状況では推論（例：信頼区間）を可能にすることを目的とする。
• 影響関数を用いたバイアス補正と効率性の向上により、現代の機械学習と古典的セミパラメトリック推定のギャップを埋めることを目的とする。

提案手法

• 影響関数（IF）を用いて構造的ターゲット関数のプラグイン推定量を構築するIF-learnerというフレームワークを提案し、IFを真のターゲット機能の代理として扱う。
• 未中心化された影響関数から得られる擬似アウトカムを用いて、全ターゲット関数を回帰により推定するIF-learnerを導入するが、信頼区間は提供しない。
• グループ単位でターゲット関数を近似し、粗大化メカニズムが既知の場合に信頼区間の推定を可能にするGroup-IF-learnerを開発する。
• 非パラメトリックなプラグインバイアス補正を影響関数を用いて実施し、欠損結果を伴うモデルにおいて漸近的効率性と二重ロバスト性を達成する。
• 最初の段階で、過剰適合を軽減するため、クロスフィットと機械学習モデル（例：ランダムフォレスト）を用いてヌイアンスパラメータ（例：アウトカムや感受度スコア）を推定する。
• 解析的形が不明な場合でも、影響関数に基づくデバイアス化を条件付き平均処置効果（CATE）などのターゲットパラメータに適用する。

実験結果

リサーチクエスチョン

• RQ1 単純なパラメータを超えて、構造的ターゲット関数のための効率的かつデータ適応型の機械学習推定量を構築するために、影響関数を活用できるか？
• RQ2 欠損結果データや粗大化情報の存在下で、影響関数をどのように活用して二重ロバスト性と効率性を達成できるか？
• RQ3 小標本における2段階推定によるバイアス補正と分散増加の有限標本的トレードオフは何か？
• RQ4 CATE推定において、IF-learnerが標準的なプラグイン推定量を平均二乗誤差（MSE）の観点で上回る条件は何か？
• RQ5 粗大化メカニズムが既知である場合、影響関数に基づく推論を用いて、推定されたターゲット関数の信頼区間を信頼性を持って構築できるか？

主な発見

• 処置効果が加法的でない、またはデータ生成過程が複雑な場合、IF-learnerはCATE推定において、標準的なプラグイン推定量よりも平均二乗誤差（MSE）が常に優れている。
• 小標本（n=800）において、非加法的処置効果の平均MSEはIF-learnerで0.107（SE=0.003）であり、プラグイン推定量の0.149と比較して、有限標本性能が向上している。
• 複雑な相互作用構造（τ(x) = μ₀(x)ξ(x₁)ξ(x₂)）を有するCATEでは、n=1600でMSEがプラグイン推定量の0.401からIF-learnerの0.252に低下し、複雑な状況下での顕著な改善が得られた。
• 粗大化メカニズムが既知の場合、Group-IF-learnerは有効な信頼区間推定を可能にし、標準的手法が失敗する状況での推論への道筋を提供する。
• 非常に単純または非常に困難な状況では、単純なプラグイン推定量がIF-learnerを上回るため、影響関数に基づくバイアス補正は中程度の複雑さのシナリオで最も効果的であることが示唆される。
• 2段階推定におけるバイアス低減と分散増加のトレードオフは、小標本で顕著に現れるため、性能最適化のためには正則化（例：スーパーレーニングを用いた）の改善が求められる。