[论文解读] Distance Metrics for Measuring Joint Dependence with Application to Causal Inference

Shubhadeep Chakraborty, Xianyang Zhang|arXiv (Cornell University)|Nov 25, 2017

Bayesian Modeling and Causal Inference参考文献 28被引用 3

一句话总结

本文提出了高阶距离协方差和联合距离协方差（JdCov），用于衡量 d ≥ 2 个随机向量之间的联合依赖性，将距离协方差推广至包含成对及更高阶依赖项的线性组合，以捕捉相互独立性。该方法通过自助法推断，实现了结构方程模型中联合独立性的一致性检验，其抽样分布近似具有渐近有效性，并在模拟和真实数据研究中表现出强大的经验功效。

ABSTRACT

Many statistical applications require the quantification of joint dependence among more than two random vectors. In this work, we generalize the notion of distance covariance to quantify joint dependence among d >= 2 random vectors. We introduce the high order distance covariance to measure the so-called Lancaster interaction dependence. The joint distance covariance is then defined as a linear combination of pairwise distance covariances and their higher order counterparts which together completely characterize mutual independence. We further introduce some related concepts including the distance cumulant, distance characteristic function, and rank-based distance covariance. Empirical estimators are constructed based on certain Euclidean distances between sample elements. We study the large sample properties of the estimators and propose a bootstrap procedure to approximate their sampling distributions. The asymptotic validity of the bootstrap procedure is justified under both the null and alternative hypotheses. The new metrics are employed to perform model selection in causal inference, which is based on the joint independence testing of the residuals from the fitted structural equation models. The effectiveness of the method is illustrated via both simulated and real datasets.

研究动机与目标

• 将距离协方差推广至衡量 d ≥ 2 个随机向量之间的联合依赖性，超越成对依赖性。
• 开发一种度量，以完全表征 d 个随机向量之间的相互独立性，包括更高阶的交互效应。
• 提供一种基于残差独立性检验的稳健非参数方法，用于因果推断中的模型选择。
• 建立渐近理论和自助程序，以实现对所提出依赖度量的有效推断。

提出的方法

• 提出高阶距离协方差，用于衡量 d 个随机向量之间的兰开斯特交互依赖性。
• 将联合距离协方差（JdCov）定义为成对和更高阶距离协方差的线性组合，确保 JdCov = 0 当且仅当所有 d 个向量相互独立。
• 基于样本点之间的欧几里得距离，使用 U 统计量和 V 统计量构造经验估计量。
• 引入距离累积量和距离特征函数，以等价方式表征独立性。
• 开发一种自助程序，以在原假设和备择假设下近似 JdCov 的抽样分布。
• 将该方法应用于结构方程模型中残差的联合独立性检验，以实现因果发现。

实验结果

研究问题

• RQ1 距离协方差能否被推广以衡量 d ≥ 2 个随机向量之间的联合依赖性，包括更高阶的交互效应？
• RQ2 所提出的联合距离协方差（JdCov）是否能完全表征 d 个随机向量之间的相互独立性？
• RQ3 该自助程序在原假设和备择假设下对 JdCov 抽样分布的近似是否具有渐近有效性？
• RQ4 JdCov 在高维设置下检测联合依赖性的有效性如何，以及在因果结构学习的模型选择中表现如何？

主要发现

• 所提出的联合距离协方差（JdCov）当且仅当 d 个随机向量相互独立时为零，从而确保了对联合独立性的完全表征。
• 在 n = 100 且 d = 10 的模拟中，自助辅助检验在示例 5.2 中实现了 100% 的功效，在示例 5.1 中实现了 98.5% 的功效。
• 当 d = 3 且 n = 50 时，该方法在示例 5.3 中实现了 98.5% 的经验功效，表明即使在样本量较低时也具备强大的检测能力。
• 自助程序表现出渐近有效性，经验大小接近名义水平（例如，表 6 中 10% 和 5% 名义水平下的经验大小分别为 10.3% 和 5.3%）。
• 该方法在检测复杂依赖结构（包括非单调关系和更高阶交互作用）方面表现出高功效，优于经典等级相关度量。
• 在 d = 5 且 n = 200 的示例 5.4 中，该检验在 10% 显著性水平下仍保持 80.4% 的功效，证实了其在更大维度下的稳健性。