[論文レビュー] A General Framework for Treatment Effect Estimation in Semi-Supervised and High Dimensional Settings

Abhishek Chakrabortty, Guorong Dai|arXiv (Cornell University)|Jan 3, 2022

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

本稿は、ラベル付き（応答と共変量）およびラベルなし（共変量のみ）のデータを併用することで、高次元設定における平均および分位数処置効果を推定する一般化された半教師付きフレームワークを提案する。大規模なラベルなしサンプルを活用することで、適切な適合確率スコアの下で、推定量は根n一貫性および漸近正規性を達成する。これは、ノイズ関数を高次元で非パラメトリックに推定しても、教師あり手法よりも高いロバストネスと効率性を実現する。

ABSTRACT

In this article, we aim to provide a general and complete understanding of semi-supervised (SS) causal inference for treatment effects. Specifically, we consider two such estimands: (a) the average treatment effect and (b) the quantile treatment effect, as prototype cases, in an SS setting, characterized by two available data sets: (i) a labeled data set of size $n$, providing observations for a response and a set of high dimensional covariates, as well as a binary treatment indicator; and (ii) an unlabeled data set of size $N$, much larger than $n$, but without the response observed. Using these two data sets, we develop a family of SS estimators which are ensured to be: (1) more robust and (2) more efficient than their supervised counterparts based on the labeled data set only. Beyond the 'standard' double robustness results (in terms of consistency) that can be achieved by supervised methods as well, we further establish root-n consistency and asymptotic normality of our SS estimators whenever the propensity score in the model is correctly specified, without requiring specific forms of the nuisance functions involved. Such an improvement of robustness arises from the use of the massive unlabeled data, so it is generally not attainable in a purely supervised setting. In addition, our estimators are shown to be semi-parametrically efficient as long as all the nuisance functions are correctly specified. Moreover, as an illustration of the nuisance estimators, we consider inverse-probability-weighting type kernel smoothing estimators involving unknown covariate transformation mechanisms, and establish in high dimensional scenarios novel results on their uniform convergence rates, which should be of independent interest. Numerical results on both simulated and real data validate the advantage of our methods over their supervised counterparts with respect to both robustness and efficiency.

研究の動機と目的

• 半教師付きかつ高次元設定における平均および分位数処置効果を推定する一般フレームワークの開発。
• 小規模なラベル付きデータに加えて大規模なラベルなしデータを統合することで、推定の効率性とロバストネスを向上。
• 適合確率スコアが正しく指定された下で、推定量の根n一貫性および漸近正規性を確立し、ノイズ関数の具体的な形を仮定しない。
• 共変量変換が未知であるような高次元非パラメトリックなノイズ推定量に対して、新たな一様収束レートを導出。
• シミュレーションおよび実データ解析を通じて、本手法が教師あり手法を上回ることを検証。

提案手法

• ラベル付きデータ（応答あり）とラベルなしデータ（応答なし）を組み合わせ、平均および分位数処置効果のダブルロバスト推定量を構築する。
• 未知の共変量変換を許容する、確率逆数加重型のカーネルスムージングをノイズ関数推定に採用。高次元設定に適応。
• 適合確率スコアが正しく指定された場合、応答回帰や他のノイズ関数が一貫性のない推定であっても、推定量が根n一貫性および漸近正規性を満たすことを保証。
• すべてのノイズ関数が正しく指定された場合、大規模なラベルなしサンプルの情報を活用することで、半パラメトリック効率性を達成。
• 2段階推定戦略を採用：まずラベル付きデータからノイズ関数を推定し、次にそれらをラベルなしデータと組み合わせて推論を改善。
• 最小限の正則性条件の下で理論的保証を導出し、カーネルベース推定量の高次元収束レートを含む。

実験結果

リサーチクエスチョン

• RQ1 半教師付きフレームワークは、純粋に教師あり手法と比較して、高次元設定における処置効果推定のロバストネスと効率性を向上させることができるか？
• RQ2 適合確率スコアが正しく指定された場合、半教師付き推定量がどのような条件下で根n一貫性および漸近正規性を達成するか？
• RQ3 応答回帰や適合確率スコアなどのノイズ関数が高次元で非パラメトリックに推定された場合、提案手法の推定量はどのように動作するか？
• RQ4 共変量変換が未知である高次元半教師付き設定において、確率逆数加重カーネルスムージング推定量の均一収束レートは何か？
• RQ5 大規模なラベルなしデータを統合することで、処置効果推定における推定バイアスと標準誤差はどの程度低減されるか？

主な発見

• 適合確率スコアが正しく指定された下で、提案された半教師付き推定量は、他のノイズ関数が一貫性のない推定であっても、根n一貫性および漸近正規性を達成する。
• シミュレーションおよび実データ解析の両方で、信頼区間が狭く、平均二乗誤差が低いことから、教師あり手法に比べて効率性とロバストネスが向上していることが示された。
• HIV薬剤耐性データ解析において、半教師付きの信頼区間は常に教師ありのものよりも短く、青色で強調された最短区間は、精度の向上を示している。
• 高次元ノイズ推定において、共変量変換が未知であっても、確率逆数加重カーネルスムージングの新たな一様収束レートが確立された。
• 理論的結果から、すべてのノイズ関数が正しく指定された場合、推定量は半パラメトリックに効率的であることが示され、ラベルなしデータの全情報を活用している。
• 数値結果から、モデルの誤指定が応答モデルに及んでも、さまざまなシミュレーション設定で95％前後で適切なカバレッジを維持していることが示された。