[论文解读] Gaussian Process Vine Copulas for Multivariate Dependence

David López-Paz, Jose Miguel Hern ndez-Lobato+1 more|arXiv (Cornell University)|Feb 16, 2013

Gaussian Processes and Bayesian Inference参考文献 26被引用 19

一句话总结

本文提出高斯过程 vines copulas (GPVINE)，一种通过使用稀疏高斯过程学习非线性、条件依赖的 copula 参数，来建模高维多变量依赖关系的方法。通过放宽 vine copulas 中常见的条件独立性假设，GPVINE 在真实世界数据集上实现了显著更优的密度估计性能，在对数似然度量下优于基线方法和最先进方法。

ABSTRACT

Copulas allow to learn marginal distributions separately from the multivariate dependence structure (copula) that links them together into a density function. Vine factorizations ease the learning of high-dimensional copulas by constructing a hierarchy of conditional bivariate copulas. However, to simplify inference, it is common to assume that each of these conditional bivariate copulas is independent from its conditioning variables. In this paper, we relax this assumption by discovering the latent functions that specify the shape of a conditional copula given its conditioning variables We learn these functions by following a Bayesian approach based on sparse Gaussian processes with expectation propagation for scalable, approximate inference. Experiments on real-world datasets show that, when modeling all conditional dependencies, we obtain better estimates of the underlying copula of the data.

研究动机与目标

• 解决 vine copula 模型中假设 copula 参数与条件变量之间条件独立性的局限性。
• 实现对依赖结构（例如 Kendall’s tau）如何随条件变量变化的灵活、非线性建模。
• 开发一种基于稀疏高斯过程和期望传播的可扩展、贝叶斯推理框架，用于高维 copula 估计。
• 通过实证验证，建模完整条件依赖关系可带来优于简化 vine 模型的密度估计性能。
• 提供一种通用方法，用于学习具有完全条件依赖关系的任意 vine 结构和二元 copula。

提出的方法

• 将每个二元 copula 的依赖参数（例如 Kendall’s tau）建模为条件变量的非线性函数，参数化为 τ = σ(f(u))，其中 f 为潜在函数。
• 在潜在函数 f 上使用高斯过程先验，以实现对条件依赖关系的灵活、非参数化建模。
• 采用具有广义 FITC 近似的稀疏高斯过程，以确保在高维情况下的可扩展性。
• 使用期望传播进行近似贝叶斯推断，实现对 copula 参数后验分布的高效学习。
• 通过条件二元 copula 的分层分解构建 vine copulas，其中每个 copula 的形状作为其条件集的函数进行学习。
• 使用概率积分变换将原始数据转换为均匀边缘分布，从而实现基于 copula 的依赖结构建模。

实验结果

研究问题

• RQ1 将二元 copula 的依赖参数建模为条件变量的非线性函数，是否能提升多变量密度估计性能？
• RQ2 当显式建模条件依赖关系与忽略条件依赖关系时，vine copula 模型的性能有何变化？
• RQ3 具有期望传播的稀疏高斯过程能否为高维条件 copula 模型提供可扩展且准确的推理？
• RQ4 所提出的方法是否优于假设 copula 参数条件独立性的最先进方法？
• RQ5 在哪些真实世界场景中，考虑完整条件依赖关系能显著提升 copula 估计性能？

主要发现

• 在除 Stocks 数据集外的所有数据集上，GPVINE 的平均测试对数似然值最高，在 Stocks 数据集上位居第二，表明其具有更优的密度估计性能。
• 在 Cloud 数据集上，GPVINE 的测试对数似然值为 9.335 ± 0.348，显著优于 SVINE（8.899 ± 0.334）和 MLLVINE（9.013 ± 0.600）。
• 在 Shuttle 数据集上，GPVINE 的测试对数似然值为 3.645 ± 0.427，显著优于 SVINE（2.552 ± 0.273）和 MLLVINE（2.256 ± 0.612）。
• 在 Housing 数据集上，GPVINE 的测试对数似然值为 4.487 ± 0.386，优于 SVINE（3.975 ± 0.342）和 MLLVINE（4.246 ± 0.480）。
• 在 Weather 数据集上，GPVINE 的测试对数似然值为 1.312 ± 0.227，显著优于 SVINE（0.789 ± 0.159）和 MLLVINE（0.771 ± 0.890）。
• 该方法成功可视化了气压与云量之间随空间变化的依赖关系，表明条件依赖结构在地理区域间存在显著差异。