[论文解读] Kernel Instrumental Variable Regression

Rahul Singh, Maneesh Sahani+1 more|arXiv (Cornell University)|Jun 1, 2019

Sparse and Compressive Sensing Techniques参考文献 55被引用 5

一句话总结

本文提出核工具变量回归（KIV），一种非参数方法，通过在再生核希尔伯特空间（RKHS）中建模内生变量 $X$、结果变量 $Y$ 和工具变量 $Z$ 之间的关系，将两阶段最小二乘法（2SLS）推广至非线性情形。在较弱的假设下，KIV 实现了一致性并达到极小极大最优收敛速率，理论分析给出了两阶段训练样本数量的最优比例，其在非线性因果推断中的表现优于当前最先进方法。

ABSTRACT

Instrumental variable (IV) regression is a strategy for learning causal relationships in observational data. If measurements of input X and output Y are confounded, the causal relationship can nonetheless be identified if an instrumental variable Z is available that influences X directly, but is conditionally independent of Y given X and the unmeasured confounder. The classic two-stage least squares algorithm (2SLS) simplifies the estimation problem by modeling all relationships as linear functions. We propose kernel instrumental variable regression (KIV), a nonparametric generalization of 2SLS, modeling relations among X, Y, and Z as nonlinear functions in reproducing kernel Hilbert spaces (RKHSs). We prove the consistency of KIV under mild assumptions, and derive conditions under which convergence occurs at the minimax optimal rate for unconfounded, single-stage RKHS regression. In doing so, we obtain an efficient ratio between training sample sizes used in the algorithm's first and second stages. In experiments, KIV outperforms state of the art alternatives for nonparametric IV regression.

研究动机与目标

• 开发两阶段最小二乘法（2SLS）的非参数扩展，以在变量间关系为非线性时实现因果推断。
• 解决线性 2SLS 在存在非线性和未观测混淆因素时的局限性。
• 为基于核函数的两阶段 IV 估计器提供理论一致性与最优收敛速率。
• 推导实现极小极大最优性能的两阶段训练样本数量最优比例。
• 通过实证结果证明 KIV 在非线性和高维设置下优于现有方法（如 SieveIV、SmoothIV、DeepIV 和 KernelIV）的性能。

提出的方法

• 在第一阶段使用 RKHS 中的条件均值嵌入来建模工具变量 $Z$ 与内生变量 $X$ 之间的关系。
• 在第二阶段采用核岭回归来估计结构函数 $h(X) = \mathbb{E}[Y|X]$，并利用第一阶段获得的条件均值嵌入。
• 在两个阶段均应用 Tikhonov 正则化，以确保在无限维 RKHS 中的稳定性与收敛性。
• 推导条件均值嵌入估计器在 RKHS 范数下的收敛速率，将经典结果推广至无限维空间。
• 通过将第一阶段的收敛速率嵌入第二阶段，建立端到端的一致性，借鉴了分布回归中的技术。
• 使用类似交叉验证的算法调整超参数（长度尺度、正则化参数），以提升实际性能。

实验结果

研究问题

• RQ1 能否开发一种 2SLS 的非参数推广方法，在存在非线性关系和未观测混淆因素时仍保持一致性和最优收敛速率？
• RQ2 在两阶段核基 IV 回归中，为实现极小极大最优速率，第一阶段与第二阶段的训练样本数量最优比例如何？
• RQ3 在均方误差和函数形状恢复方面，KIV 与现有非参数 IV 方法（如 SieveIV、SmoothIV 和 DeepIV）相比表现如何？
• RQ4 在 RKHS 中使用条件均值嵌入是否能比密度估计或基函数近似提供更鲁棒、更灵活的 $X|Z$ 关系表示？
• RQ5 在有限样本设置下，KIV 对超参数选择（特别是核函数长度尺度）的敏感性如何？

主要发现

• 在较弱的正则性条件下，KIV 在第二阶段回归中实现了收敛一致性与极小极大最优收敛速率，即使在无限维 RKHS 中亦成立。
• 理论分析推导出第一阶段与第二阶段训练样本数量的最优比例，该比例取决于 $X|Z$ 与 $Y|X$ 估计难度的相对大小。
• 在线性设计中，KIV 表现与 Tikhonov 正则化 SieveIV 相当，表明核函数选择可模拟有限维基函数方法。
• 在非线性 Sigmoid 设计与需求设计中，KIV 在所有样本规模下均优于所有对比方法（包括 DeepIV 和 SmoothIV），在均方误差方面表现更优。
• 稳健性分析表明，KIV 对核函数长度尺度调参的敏感性较低，使用中位数相邻点距离可作为可靠的默认设置。
• 实证结果证实，KIV 能够成功恢复真实结构函数的形状，尤其在其他方法因过拟合或对 $X|Z$ 建模不佳而失效的非线性场景中表现突出。