[論文レビュー] Proximal Causal Learning with Kernels: Two-Stage Estimation and Moment Restriction

Afsaneh Mastouri, Yuchen Zhu+6 more|PolyPublie (École Polytechnique de Montréal)|May 10, 2021

Statistical Methods and Inference参考文献 58被引用数 9

ひとこと要約

本稿では、観測された代理変数を用いて、未観測の交絡要因を伴うプロキシカルシャル因果モデルにおける非線形因果効果推定のための2つのカーネルベースの手法——2段階回帰と最大モーメント制約——を提案する。一貫性の保証を確立し、合成データおよび実世界に類似したデータにおいて、先行手法を上回る性能を示す。特に、代理変数を効果的に活用する点で優れている。

ABSTRACT

We address the problem of causal effect estimation in the presence of unobserved confounding, but where proxies for the latent confounder(s) are observed. We propose two kernel-based methods for nonlinear causal effect estimation in this setting: (a) a two-stage regression approach, and (b) a maximum moment restriction approach. We focus on the proximal causal learning setting, but our methods can be used to solve a wider class of inverse problems characterised by a Fredholm integral equation. In particular, we provide a unifying view of two-stage and moment restriction approaches for solving this problem in a nonlinear setting. We provide consistency guarantees for each algorithm, and we demonstrate these approaches achieve competitive results on synthetic data and data simulating a real-world task. In particular, our approach outperforms earlier methods that are not suited to leveraging proxy variables.

研究の動機と目的

• 未観測の交絡要因が存在するが、それらのための代理変数が利用可能である状況において、平均処置効果（ATE）を推定する課題に対処すること。
• カーネル法を用いて、プロキシカルシャル因果学習フレームワークにおける一貫性のある非パラメトリックな因果効果推定手法を開発すること。
• Fredholm積分方程式を介して非線形逆問題を解くために、2段階回帰とモーメント制約のアプローチを統合するフレームワークを提供すること。
• 非線形設定において代理変数を効果的に活用できない、一貫性の保証がない先行手法の限界を克服すること。

提案手法

• 2段階のカーネルベース回帰アプローチを提案：まず、ベクトル値RKHSとヒルバート＝シュミット作用素を用いて、$W$ の $A, X, Z$ 条件付きの平均埋め込み $\mu_{W|A,X,Z}$ を推定する。
• 2段階目に、推定された条件付き平均埋め込み $\mu_{W|A,X,Z}$ を用いて、$\mathbb{E}[Y - h(A,W,X) \mid A,Z,X]$ の条件付き期待値を推定する。この推定は、カーネル化されたリスク関数を最小化することで行う。
• 最大モーメント制約アプローチを定式化：条件付きモーメント制約 $\mathbb{E}[Y - h(A,W,X) \mid A,Z,X]$ のノルムを最小化する。この表現は、再生核ヒルバート空間（RKHS）で記述される。
• Representer定理と特徴的およびISPDカーネルの性質を活用して、RKHSフレームワーク内での解の存在と一意性を保証する。
• 正則性条件の下で、両手法の一貫性を確立する。特に、真の条件付き平均埋め込みが作用素のRKHSに属すると仮定する。
• Fredholm積分方程式とカーネル法に基づく共通の理論的枠組みの下で、2段階法とモーメント制約法を統合する。

実験結果

リサーチクエスチョン

• RQ1 未観測の交絡要因が存在するが、それらのための代理変数が利用可能な状況において、カーネルベース手法が平均処置効果を一貫して推定できるか？
• RQ2 2段階回帰とモーメント制約のアプローチを、プロキシカルシャル因果学習における非線形設定に統合・拡張する方法は何か？
• RQ3 このフレームワークにおけるカーネルベース2段階推定およびモーメント制約推定器の理論的一致保証は何か？
• RQ4 代理変数を非線形設定で効果的に活用しない既存の手法と比較して、これらの手法はどのように性能を発揮するか？

主な発見

• 提案された2段階カーネル法は、条件付き平均埋め込み $C_{W|A,X,Z}$ がベクトル値RKHSの作用素に属するという仮定の下で一貫性を示す。
• 最大モーメント制約アプローチは一貫しており、条件付きモーメント制約のRKHSノルムを最小化することと同等である。これにより、解がほとんど確実にモーメント条件を満たすことが保証される。
• 両手法とも、プロキシカルシャル因果モデルを特徴付ける第一種Fredholm積分方程式を解く理論的基盤に立っている。
• 実験的結果から、代理変数を活用しない先行手法に比べて、特に非線形設定において本手法が優れた性能を示す。
• 合成データおよび実世界の留年処置タスクを模擬したデータにおいて、本手法は競争力のある性能を示し、非代理変数に依存しない手法に比べてバイアス低減効果が顕著である。
• 理論的分析により、カーネル化されたリスク関数 $R_k(h)$ の最小化解が、条件付きモーメント制約を満たすことに等しいことが確認され、真の因果効果の同定が保証される。