[论文解读] Introducing higher order correlations to marginals' subset of multivariate data by means of Archimedean copulas

Krzysztof Domino, Adam Glos|arXiv (Cornell University)|Mar 21, 2018

Image and Signal Denoising Methods参考文献 3被引用 4

一句话总结

本文提出一种数据生成算法，利用阿基米德Copula在多元正态分布数据的子集边缘中引入高阶相关性，同时保持原始协方差矩阵和边缘分布不变。该方法可用来测试降维算法是否利用了高阶依赖关系，结果表明基于三阶累积量的JSBS算法能成功检测出受损特征，而基于二阶相关性的MEV算法则失败，证实了该方法在评估机器学习算法方面的有效性。

ABSTRACT

In this paper, we present the algorithm that alters the subset of marginals of multivariate standard distributed data into such modelled by an Archimedean copula. Proposed algorithm leaves a correlation matrix almost unchanged, but introduces a higher order correlation into a subset of marginals. Our data transformation algorithm can be used to analyse whether particular machine learning algorithm, especially a dimensionality reduction one, utilises higher order correlations or not. We present an exemplary application on two features selection algorithms, mention that features selection is one of the approaches to dimensionality reduction. To measure higher order correlation, we use multivariate higher order cumulants, hence to utilises higher order correlations be to use the Joint Skewness Band Selection (JSBS) algorithm that uses third-order multivariate cumulant. We show the robust performance of the JSBS in contrary to the poor performance of the Maximum Ellipsoid Volume (MEV) algorithm that does not utilise such higher order correlations. With this result, we confirm the potential application of our data generation algorithm to analyse a performance of various dimensionality reduction algorithms.

研究动机与目标

• 开发一种数据变换方法，可在不改变协方差矩阵或单变量边缘分布的前提下，向部分边缘中引入高阶相关性。
• 实现对降维算法对高阶统计依赖关系敏感性的经验评估。
• 提供一个受控的基准测试工具，用于评估PCA或特征选择方法等算法是否利用了三阶累积量。
• 通过两种不同的特征选择算法（MEV，基于二阶统计；JSBS，基于三阶累积量）验证该方法。
• 证明可利用阿基米德Copula与累积量张量可靠地引入并检测高阶相关性。

提出的方法

• 该算法将多元正态分布中部分边缘转换为基于阿基米德Copula的分布，同时保持原始相关矩阵和边缘分布不变。
• 使用阿基米德Copula来诱导高阶依赖结构，测试了特定族（Clayton、Gumbel、AMH）以验证鲁棒性。
• 通过多变量累积量张量量化高阶相关性，特别是利用三阶累积量进行偏度相关检测。
• 该方法应用逆Laplace–Stieltjes变换，从均匀边缘生成基于Copula的随机变量，保持数据结构。
• 算法使用Julia实现，适用于高性能科学计算，且已在GitHub上公开。
• 通过测量特征选择算法在受损数据上的可分性来评估性能，使用平均可分性 $\bar{D}$ 作为度量指标。

实验结果

研究问题

• RQ1 是否可以在不显著改变协方差矩阵或边缘分布的前提下，向部分边缘中引入高阶相关性？
• RQ2 依赖于二阶统计的降维算法是否无法检测数据中的高阶依赖关系？
• RQ3 联合偏度带选择（JSBS）算法是否能成功识别出具有高阶相关性的特征？
• RQ4 阿基米德Copula的选择和相关矩阵结构如何影响高阶相关性的可检测性？
• RQ5 所提出的生成方法是否对噪声具有鲁棒性，并且在基准测试机器学习算法方面有效？

主要发现

• JSBS算法在所有Copula和相关矩阵类型下均实现了近乎完美的可分性（$\bar{D} \approx 1$），证实其对高阶相关性的敏感性。
• MEV算法在大多数配置下的表现接近随机猜测（$\bar{D}_{\text{theor}} \approx 0.08$），表明其未利用高阶依赖关系。
• 对于Toeplitz相关矩阵，JSBS在 $\rho = 0.3$ 时即达到高可分性（$\bar{D} > 0.9$），Clayton Copula表现出近乎理想性能。
• MEV在AMH Copula和 $\rho > 0.5$ 时表现出高于随机的性能，可能由于AMH生成器的逆Laplace–Stieltjes变换导致信息损失。
• 相关矩阵中的噪声略微提升了Gumbel和AMH Copula下JSBS的性能，但对MEV影响可忽略，表明高阶检测机制具有鲁棒性。
• 该算法成功保持了协方差矩阵和边缘分布，使高阶相关性成为唯一引入的因素。