[论文解读] Exploiting Independent Instruments: Identification and Distribution Generalization

Sorawit Saengkyongam, Leonard Henckel+2 more|arXiv (Cornell University)|Feb 3, 2022

Statistical Methods and Inference被引用 5

一句话总结

本文提出了HSIC-X和HSIC-X-pen，这两种基于梯度的估计器利用工具变量与残差之间的独立性，以改进因果推断。通过利用希尔伯特-施密特独立性准则（HSIC），该方法提升了有限样本效率，并在分布移位情况下实现最坏情况下的最优性能，即使在欠识别设定下亦是如此。

ABSTRACT

Instrumental variable models allow us to identify a causal function between covariates $X$ and a response $Y$, even in the presence of unobserved confounding. Most of the existing estimators assume that the error term in the response $Y$ and the hidden confounders are uncorrelated with the instruments $Z$. This is often motivated by a graphical separation, an argument that also justifies independence. Positing an independence restriction, however, leads to strictly stronger identifiability results. We connect to the existing literature in econometrics and provide a practical method called HSIC-X for exploiting independence that can be combined with any gradient-based learning procedure. We see that even in identifiable settings, taking into account higher moments may yield better finite sample results. Furthermore, we exploit the independence for distribution generalization. We prove that the proposed estimator is invariant to distributional shifts on the instruments and worst-case optimal whenever these shifts are sufficiently strong. These results hold even in the under-identified case where the instruments are not sufficiently rich to identify the causal function.

研究动机与目标

• 开发实用方法，利用工具变量与残差之间的独立性以改进因果估计。
• 通过引入超越不相关性的高阶矩约束，提升有限样本性能。
• 构建对工具变量分布移位具有不变性的估计器，尤其在欠识别设定下。
• 提供与任何基于梯度的机器学习回归方法兼容的模块化框架。

提出的方法

• 提出HSIC-X，通过最小化工具变量Z与残差Y−f(X)之间的希尔伯特-施密特独立性准则（HSIC）来强制实现统计独立性。
• 使用特征核（如高斯核）确保仅当Z与残差独立时，HSIC值为零。
• 采用随机梯度下降进行优化，初始化于2SLS或OLS解以提升收敛性。
• 提出HSIC-X-pen，一种带惩罚的变体，旨在优化对Z上干预下的最坏情况鲁棒性。
• 模块化地集成至任何通过梯度下降训练的非参数回归模型中。
• 通过基于自助法的置信区域方法实现推断。

实验结果

研究问题

• RQ1 利用工具变量与残差之间的完全独立性，是否能获得比仅依赖不相关性的方法更优的有限样本因果估计？
• RQ2 基于独立性的估计方法与经典IV方法相比，在效率和鲁棒性方面表现如何？
• RQ3 即使因果函数无法从观测数据中识别，独立性约束是否仍能产生分布鲁棒的估计器？
• RQ4 高阶依赖关系对有限样本中估计性能有何影响？
• RQ5 在工具变量发生分布移位时，基于独立性的方法是否能优于标准IV估计器？

主要发现

• 在分布移位下，HSIC-X在预测性能上优于AR和OLS，实现了不变性与准确性的最佳平衡。
• 在教育与收入的真实数据中，HSIC-X的95%置信区间（0.097–0.208）比2SLS（0.050–0.273）更窄，且不包含OLS估计值（0.072），表明其具有更强的有限样本效率。
• HSIC-X的置信区域不包含OLS估计值，表明独立性约束可提供更具信息量的推断。
• HSIC-X-pen在Z上发生干预时，即使在欠识别设定下也能实现最坏情况下的最优性能。
• 实证结果表明，可利用残差与工具变量之间的高阶依赖关系以改善估计，尤其在二阶不相关性不足时更为显著。
• 该方法具有模块化特性，可与任何基于梯度的非参数回归模型结合，具备广泛适用性。