[论文解读] Instrumental Variable Regression via Kernel Maximum Moment Loss

Rui Zhang, Masaaki Imaizumi+2 more|arXiv (Cornell University)|Oct 15, 2020

Statistical Methods and Inference参考文献 64被引用 10

一句话总结

本文提出了一种新颖的非线性工具变量（IV）回归框架——MMR-IV，将IV估计重新表述为在再生核希尔伯特空间（RKHS）中使用核最大矩损失的经验风险最小化问题。通过利用U/V-统计量和正定核，该方法实现了具唯一解的一致性、渐近正态性估计器，并通过高斯过程解释实现了高效的超参数选择，在合成数据和真实世界实验中优于现有方法。

ABSTRACT

We investigate a simple objective for nonlinear instrumental variable (IV) regression based on a kernelized conditional moment restriction (CMR) known as a maximum moment restriction (MMR). The MMR objective is formulated by maximizing the interaction between the residual and the instruments belonging to a unit ball in a reproducing kernel Hilbert space (RKHS). First, it allows us to simplify the IV regression as an empirical risk minimization problem, where the risk functional depends on the reproducing kernel on the instrument and can be estimated by a U-statistic or V-statistic. Second, based on this simplification, we are able to provide the consistency and asymptotic normality results in both parametric and nonparametric settings. Lastly, we provide easy-to-use IV regression algorithms with an efficient hyper-parameter selection procedure. We demonstrate the effectiveness of our algorithms using experiments on both synthetic and real-world data.

研究动机与目标

• 解决观测数据中存在未观测混杂因素的非线性IV回归挑战。
• 将非线性IV估计中的复杂极小化-极大化优化问题简化为稳定的一步经验风险最小化（ERM）问题。
• 利用RKHS和核方法，为参数和非参数设定建立理论保证——一致性与渐近正态性。
• 通过高斯过程解释，开发一种实用且高效的超参数选择程序。
• 在合成数据和真实世界数据上，与现有IV方法相比，展示出更优的性能和鲁棒性。

提出的方法

• 通过在RKHS中最大化残差与工具变量之间的核化交互作用，将条件矩约束（CMR）重新表述为最大矩约束（MMR）目标。
• 使用基于核的矩约束的U-统计量或V-统计量估计器，将MMR风险表达为经验风险最小化（ERM）问题。
• 利用正定核的性质和函数微分技术，推导出MMR目标的闭式解。
• 提出两种算法：MMR-IV（RKHS）使用核函数，MMR-IV（NN）使用神经网络以实现灵活的非线性建模。
• 通过将ERM形式映射到高斯过程似然，提出一种新颖的超参数选择方法，实现高效调优。
• 应用函数微分和渐近理论，在较弱的正则性和完备性条件下，推导出估计量的渐近分布。

实验结果

研究问题

• RQ1 能否使用核方法构建一个用于非线性IV回归的一体化经验风险最小化框架？
• RQ2 所提出的MMR-IV方法在参数和非参数设定下是否均能实现一致性与渐近正态性？
• RQ3 核函数的选择如何影响MMR-IV估计量的渐近效率？
• RQ4 能否通过高斯过程解释，为MMR-IV开发一种系统且高效的超参数选择程序？
• RQ5 在真实和合成数据上，MMR-IV与现有两阶段及基于极小化-极大化方法的IV回归方法相比，性能如何？

主要发现

• MMR-IV框架通过RKHS中的核化矩约束，将复杂的极小化-极大化IV优化转化为稳定的一体化ERM问题。
• 由于核函数的正定性，该方法保证了唯一最小化解，确保了解的唯一性。
• 在参数和非参数设定下，MMR-IV估计量的渐近正态性已得到理论证明，支持统计推断（如置信区间和假设检验）。
• 估计量的渐近方差取决于核的选择，本文推导了不同核之间的效率权衡。
• 通过将MMR-IV目标解释为高斯过程下的似然，开发了一种新颖的超参数选择方案，实现了高效且系统化的调优。
• 实证结果表明，MMR-IV在合成数据和真实世界数据（包括遗传学和经济学应用）上，相较于现有方法在准确性和鲁棒性方面表现更优。