[论文解读] Detecting non-causal artifacts in multivariate linear regression models

Dominik Janzing, Bernhard Schoelkopf|arXiv (Cornell University)|Mar 2, 2018

Blind Source Separation Techniques参考文献 7被引用 10

一句话总结

本文提出了一种统计检验方法，用于检测多元线性回归模型中的非因果人工效应——这些效应由混淆因素或过拟合引起。通过基于独立成分分析（ICA）的框架对混淆因素进行建模，表明混淆和过拟合均会导致回归系数与预测变量协方差矩阵的低特征值方向对齐，从而可通过特征结构分析实现检测。

ABSTRACT

We consider linear models where $d$ potential causes $X_1,...,X_d$ are correlated with one target quantity $Y$ and propose a method to infer whether the association is causal or whether it is an artifact caused by overfitting or hidden common causes. We employ the idea that in the former case the vector of regression coefficients has 'generic' orientation relative to the covariance matrix $Σ_{XX}$ of $X$. Using an ICA based model for confounding, we show that both confounding and overfitting yield regression vectors that concentrate mainly in the space of low eigenvalues of $Σ_{XX}$.

研究动机与目标

• 解决在混淆因素或过拟合可能扭曲结果时，区分多元线性回归中因果关联与非因果关联的挑战。
• 将先前针对标量混淆因素的混淆检测方法扩展至多元混淆因素，以提升方法的适用范围。
• 开发一种统计检验方法，用以识别观测到的预测变量与目标变量之间的关联是否源于因果效应、混淆或过拟合。
• 揭示混淆与过拟合在其对预测变量协方差矩阵特征结构影响方面存在结构相似性，即回归系数方向的对齐模式。
• 提出一种基于通用性原则的方法，其中非通用的系数方向表示非因果依赖关系。

提出的方法

• 采用一种受多元独立成分分析（ICA）启发的框架来建模混淆因素，其中高维不相关源向量通过混合矩阵和向量同时影响预测变量 $\mathbf{X}$ 和目标变量 $Y$。
• 推导在混淆模型下回归系数的分布，表明其集中于预测变量协方差矩阵 $\Sigma_{XX}$ 的低特征值子空间中。
• 应用变量变换与雅可比行列式分析，推导回归系数方向的概率密度，将其与 $\Sigma_{XX}$ 的特征结构联系起来。
• 提出一种基于比较观测回归系数方向与零假设下无混淆时的预期通用方向的统计检验。
• 利用混淆和过拟合均导致系数向量与 $\Sigma_{XX}$ 的低特征值方向对齐的事实，实现两者的联合检测。
• 采用几何论证，结合正交投影与切空间映射，刻画模型下系数方向密度的特征。

实验结果

研究问题

• RQ1 我们能否检测到多元线性模型中的回归系数是否由混淆或过拟合引起，而非真正的因果效应？
• RQ2 在因果、混淆和过拟合情形下，回归系数向量相对于 $\Sigma_{XX}$ 特征结构的取向有何不同？
• RQ3 与以往的标量混淆因素方法相比，该多元混淆因素模型是否能提供更简单且更稳健的检测方法？
• RQ4 在混淆条件下，$\mathbf{X}$ 的边缘分布与条件分布 $P_{Y|\mathbf{X}}$ 之间存在何种统计关系？该关系如何用于检测？
• RQ5 是否可以利用相同的系数方向几何模式同时检测混淆与过拟合，从而揭示一种统一原理？

主要发现

• 混淆和过拟合均导致回归系数向量集中于预测变量协方差矩阵 $\Sigma_{XX}$ 的低特征值子空间中，因此在这一方面在统计上无法区分。
• 该方法通过识别回归系数向量相对于 $\Sigma_{XX}$ 的非通用方向来检测非因果人工效应，其中“通用性”由模型的基于 ICA 的混淆因素结构定义。
• 在混淆模型下，回归系数方向的概率密度被解析推导出来，其依赖于 $A^{-1}\tilde{v}$ 的范数的倒数，其中 $A$ 为混合矩阵。
• 本文建立了正则化与混淆校正之间的正式联系，表明具有独立 $P_{\mathbf{X}}$ 和 $P_{Y|\mathbf{X}}$ 的模型可能具有更好的泛化能力。
• 所推导的检验方法对模型假设具有鲁棒性，并提供了一种有原则的方法来评估观测到的关联是否为因果关系或人为效应。
• 该理论框架通过允许多元混淆因素，扩展了先前工作，使得在高维场景下能够实现更真实且更具泛化能力的因果推断。