[論文レビュー] Penalized regression adjusted causal effect estimates in high dimensional randomized experiments

Hanzhong Liu, Yuehan Yang|arXiv (Cornell University)|Sep 24, 2018

Advanced Causal Inference Techniques被引用数 3

ひとこと要約

本稿は、Neyman-Rubinの潜在的アウトカム枠組み下で、高次元の無作為化実験における正則化回帰補正付き平均因果効果（ACE）推定器（リッジ、エラスティック・ネット、アダプティブ・ラッソ）の漸近的正規性と効率性の向上を確立する。リスク一致性を満たす場合、これらの推定器は差分推定器の漸近的分散を超えないことが証明され、有効な信頼区間を構築するための保守的分散推定器が提供される。

ABSTRACT

Regression adjustments are often considered by investigators to improve the estimation efficiency of causal effect in randomized experiments when there exists many pre-experiment covariates. In this paper, we provide conditions that guarantee the penalized regression including the Ridge, Elastic Net and Adapive Lasso adjusted causal effect estimators are asymptotic normal and we show that their asymptotic variances are no greater than that of the simple difference-in-means estimator, as long as the penalized estimators are risk consistent. We also provide conservative estimators for the asymptotic variance which can be used to construct asymptotically conservative confidence intervals for the average causal effect (ACE). Our results are obtained under the Neyman-Rubin potential outcomes model of randomized experiment when the number of covariates is large. Simulation study shows the advantages of the penalized regression adjusted ACE estimators over the difference-in-means estimator.

研究の動機と目的

• 高次元の無作為化実験において、多くの事前処理共変量を有する状況で差分推定器の非効率性を解消すること。
• Neyman-Rubinモデル下で、正則化回帰補正付きACE推定器の理論的保証（特に漸近的正規性と分散低減）を確立すること。
• 高次元設定における漸近的に有効な信頼区間を構築するための保守的分散推定器を提供すること。
• 通常最小二乗法が過適合のため失敗する高次元設定において、低次元の回帰補正理論を拡張すること。
• リッジ、エラスティック・ネット、アダプティブ・ラッソの有限標本性能と頑健性が、高次元共変量下での因果推論に与える影響を調査すること。

提案手法

• 平均因果効果（ACE）を、処置群と対照群における潜在的アウトカムの平均差として定義するため、Neyman-Rubinの潜在的アウトカムモデルを用いる。
• 高次元共変量を補正するために正則化回帰（リッジ、エラスティック・ネット、アダプティブ・ラッソ）を適用し、過適合を避けるために通常最小二乗法の代わりに用いる。
• 正則化回帰補正付きACE推定器が漸近的に正規分布に従い、かつ差分推定器の漸近的分散を超えない条件を導出する。
• 正則化推定器の漸近的分散に基づく保守的分散推定器を提案し、有効な信頼区間の構築を可能にする。
• シミュレーションにおいて標準誤差を推定し、被覆率と信頼区間長を評価するためにブートストラップリサンプリング（B=500）を用いる。
• 有限母集団からの非復元抽出下での正則化の推定効率と推論の妥当性への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 高次元の無作為化実験において、正則化回帰補正付きACE推定器がどのような条件下で漸近的に正規分布に従うか。
• RQ2 リスク一貫性を満たす場合、正則化回帰推定器が差分推定器の漸近的分散を超えないか。
• RQ3 正則化推定器の漸近的分散から導出された保守的分散推定器が、漸近的に保守的な信頼区間をもたらすか。
• RQ4 リッジ、エラスティック・ネット、アダプティブ・ラッソは、未補正推定器やOLS推定器と比較して、高次元設定下でのバイアス、分散、被覆率の観点でどのように性能を発揮するか。
• RQ5 非線形関係や固定共変量などのモデル誤指定が、因果推論における正則化回帰補正の性能に与える影響は何か。

主な発見

• リスク一貫性を満たす場合、正則化回帰補正付きACE推定器（リッジ、エラスティック・ネット、アダプティブ・ラッソ）は、やや厳しい正則性条件のもとで漸近的に正規分布に従う。
• すべての正則化推定器の漸近的分散は、差分推定器のそれより大きくはならず、効率性の向上が確認された。
• 保守的分散推定器が導出され、漸近的に保守的な信頼区間をもたらすことが示された。これは有限標本における被覆率の向上をもたらした。
• シミュレーション結果から、lasso、エラスティック・ネット、アダプティブ・ラッソ推定器は、未補正差分推定器と比較して、特に高次元設定下で平均二乗誤差（MSE）と分散が著しく低減された。
• チューニングなしのナーミー・エラスティック・ネット推定器（無調整）は被覆率が低かった（例：(500,120)で52.3％）。一方、適切にチューニングされたバージョン（例：EN, Ada）は90％以上を維持した。
• リッジおよびアダプティブ・ラッソ推定器は、未補正およびOLS推定器を常に上回り、MSEは一部のシナリオで最大70％まで低減された。