[論文レビュー] A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond

Kuanhao Jiang, Rajarshi Mukherjee+2 more|arXiv (Cornell University)|May 20, 2022

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本稿は、スパarsity仮定を必要としない高次元設定における、クロスフィットド加重逆確率（AIPW）推定量の新しい中心極限定理を確立する。2つの重要な現象を明らかにする：信号対雑音比に依存する顕著な分散の増大と、事前クロスフィット推定量間の無視できない漸近的共分散であり、これらは古典的漸近理論には存在しない。証明は、近似的メッセージパッシング、決定的同等、および1つずつ除外する分析の新しい組み合わせに依拠している。

ABSTRACT

Estimation of the average treatment effect (ATE) is a central problem in causal inference. In recent times, inference for the ATE in the presence of high-dimensional covariates has been extensively studied. Among the diverse approaches that have been proposed, augmented inverse probability weighting (AIPW) with cross-fitting has emerged a popular choice in practice. In this work, we study this cross-fit AIPW estimator under well-specified outcome regression and propensity score models in a high-dimensional regime where the number of features and samples are both large and comparable. Under assumptions on the covariate distribution, we establish a new central limit theorem for the suitably scaled cross-fit AIPW that applies without any sparsity assumptions on the underlying high-dimensional parameters. Our CLT uncovers two crucial phenomena among others: (i) the AIPW exhibits a substantial variance inflation that can be precisely quantified in terms of the signal-to-noise ratio and other problem parameters, (ii) the asymptotic covariance between the pre-cross-fit estimators is non-negligible even on the root-n scale. These findings are strikingly different from their classical counterparts. On the technical front, our work utilizes a novel interplay between three distinct tools--approximate message passing theory, the theory of deterministic equivalents, and the leave-one-out approach. We believe our proof techniques should be useful for analyzing other two-stage estimators in this high-dimensional regime. Finally, we complement our theoretical results with simulations that demonstrate both the finite sample efficacy of our CLT and its robustness to our assumptions.

研究の動機と目的

• 特徴量の数と標本サイズが大きく、かつ同等である高次元設定において、クロスフィットドAIPW推定量の新しい中心極限定理を確立すること。
• スパarsityを仮定しない高次元パラメータにおける、適切に指定されたアウトカム回帰モデルおよびプロパティススコアモデル下でのAIPW推定量の漸近的挙動を特徴づけること。
• 2つの新しい現象である分散の増大と、事前クロスフィット推定量間の非無視可能な漸近的共分散を解明し、定量すること。
• 2段階推定量の高次元的枠組みにおける分析に適した、近似的メッセージパッシング、決定的同等、および1つずつ除外する手法を組み合わせた証明フレームワークを構築すること。

提案手法

• 独立同一分布に従う軽尾分布を示す共変量を有する高次元漸近的枠組み下で、クロスフィットドAIPW推定量の新しい中心極限定理を導出する。
• 近似的メッセージパッシング理論を用いて、AIPW構築に用いられるリッジ正則化回帰推定量の高次元的挙動を分析する。
• 決定的同等の理論を適用して、高次元回帰係数を含む二次形式の極限挙動を特徴づける。
• 1つずつ除外する手法を用いて依存関係を分離し、2段階AIPWフレームワークにおける推定誤差を制御する。
• スパarsityや高次元パラメータにおける構造的仮定を必要としない一般のモーメント条件の下で、AIPW推定量の漸近的正規性を確立する。
• 漸近的分散および共分散構造の明示的表現を導出し、信号対雑音比および問題固有のパラメータに依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 スパarsity仮定なしの高次元設定において、クロスフィットドAIPW推定量の漸近的分布はどのように振る舞うか？
• RQ2 高次元推定がAIPW推定量の分散に与える影響は何か、そしてその影響は定量的に測定可能か？
• RQ3 なぜAIPWにおける事前クロスフィット推定量は、古典的理論とは対照的に√nスケールで非無視可能な漸近的共分散を示すのか？
• RQ4 これらの高次元的現象を捉える新しい中心極限定理をAIPWに対して確立できるか？
• RQ5 高次元的・非スパースな状況下で、AIPWのような2段階推定量を分析するために、どのような新しい技術的ツールが必要か？

主な発見

• AIPW推定量は、信号対雑音比および他の問題パラメータの観点から正確に定量可能な顕著な分散の増大を示す。これは古典的挙動とは異なる。
• 事前クロスフィット推定量間の漸近的共分散は、√nスケールで非無視可能であり、これは古典的漸近理論では捉えられていない現象である。
• AIPW推定量の極限分布は、従来の意味で正規分布ではなく、ネイズ・パラメータ推定量の同時分布に依存する。
• AIPW推定量の漸近的分散は、古典的状況に比べて増大しており、その増大要因はリッジ正則化パラメータおよび設計行列の共分散構造に依存する。
• 理論的枠組みは、シミュレーションで観察された有限標本挙動をうまく捉えており、モデルの誤指定や分布的仮定に対して頑健であることが示された。
• 近似的メッセージパッシング、決定的同等、1つずつ除外分析を組み合わせた証明手法は、高次元的状況下での他の2段階推定量に対しても一般化可能である。