[论文解读] Anchor regression: heterogeneous data meets causality

Dominik Rothenhaüsler, Nicolai Meinshausen+2 more|arXiv (Cornell University)|Jan 18, 2018

Bayesian Modeling and Causal Inference参考文献 43被引用 67

一句话总结

Anchor regression 引入了一种使用外源锚点的回归方法，在 OLS 与 IV 之间插值，提供对分布变动的鲁棒性，并在异质数据下提高可重复性。

ABSTRACT

We consider the problem of predicting a response variable from a set of covariates on a data set that differs in distribution from the training data. Causal parameters are optimal in terms of predictive accuracy if in the new distribution either many variables are affected by interventions or only some variables are affected, but the perturbations are strong. If the training and test distributions differ by a shift, causal parameters might be too conservative to perform well on the above task. This motivates anchor regression, a method that makes use of exogeneous variables to solve a relaxation of the causal minimax problem by considering a modification of the least-squares loss. The procedure naturally provides an interpolation between the solutions of ordinary least squares and two-stage least squares. We prove that the estimator satisfies predictive guarantees in terms of distributional robustness against shifts in a linear class; these guarantees are valid even if the instrumental variables assumptions are violated. If anchor regression and least squares provide the same answer (anchor stability), we establish that OLS parameters are invariant under certain distributional changes. Anchor regression is shown empirically to improve replicability and protect against distributional shifts.

研究动机与目标

• 在训练-测试分布转移和数据异质性下的预测动机。
• 定义 anchor regression，以权衡观测数据和扰动数据上的预测性能。
• 将 anchor regression 与因果概念和工具变量联系起来，同时放宽 IV 的假设。
• 提供在分布转移干预下具有理论鲁棒性保证的计算简单的估计量。

提出的方法

• 定义总体 Anchor regression 目标函数，它对投影残差进行惩罚并控制残差在锚点空间上的投影（Eq. 4）。
• 提供一个有限样本的插件估计量，求解一个变换后的最小二乘问题（Eq. 5）。
• 证明当 gamma 变化时，估计量在 partialling out、OLS 与 IV 之间插值（Eq. 7）。
• 将 anchor regression 与 k-class 估计量以及在工具变量假设下的 IV 联系起来。
• 通过引入 l1 惩罚实现带稀疏性的高维扩展，并讨论实际计算。
• 解释 gamma 调整对分布转移干预的鲁棒性，且较大的 gamma 强调不变性。

实验结果

研究问题

• RQ1 如何通过基于锚点的扰动实现对分布变动的预测鲁棒性？
• RQ2 在不同的 gamma 值下，Anchor regression 如何与 PA、OLS 和 IV 相关并在它们之间插值？
• RQ3 在何种条件下，Anchor regression 系数与 OLS 相同，这对不变性和可重复性意味着什么？
• RQ4 当锚点不是有效工具变量时，Anchor regression 是否仍能提供对分布的鲁棒性保证？

主要发现

• Anchor regression 在线性设定下对一类分布转移干预具有鲁棒的预测保证。
• 该方法在 gamma 变化时在 PA、OLS 与 IV 之间插值，在某些辨识条件下当 gamma→∞ 时最终与 IV 相连。
• 如果 Anchor regression 与普通最小二乘法给出相同系数（锚点稳定性），则在某些分布变动下 OLS 参数保持不变。
• 从经验上看，Anchor regression 提高了可重复性，并在测试数据的分布变动下保护对异质训练组的鲁棒性。
• 即使锚点不是有效工具变量，该方法仍然有用，通过利用不变性特性实现稳健预测。