[论文解读] Exploring and measuring non-linear correlations: Copulas, Lightspeed Transportation and Clustering

Gautier Marti, Sébastien Andler+2 more|arXiv (Cornell University)|Oct 30, 2016

Mental Health Research Topics被引用 3

一句话总结

本文提出了一种新颖的方法论，利用配极（copulas）、最优传输（optimal transport）和聚类技术，用于探索、度量和针对性地识别多变量数据中的特定非线性依赖模式。通过结合这些工具，作者引入了一个参数化的依赖系数（TFDC），能够检测或忽略特定的相关结构，在检测目标关系方面优于通用度量方法，同时揭示了金融时间序列中复杂的非高斯依赖关系。

ABSTRACT

We propose a methodology to explore and measure the pairwise correlations that exist between variables in a dataset. The methodology leverages copulas for encoding dependence between two variables, state-of-the-art optimal transport for providing a relevant geometry to the copulas, and clustering for summarizing the main dependence patterns found between the variables. Some of the clusters centers can be used to parameterize a novel dependence coefficient which can target or forget specific dependence patterns. Finally, we illustrate and benchmark the methodology on several datasets. Code and numerical experiments are available online for reproducible research.

研究动机与目标

• 解决传统相关度量（如皮尔逊相关）的局限性，后者无法捕捉非线性、非单调或尾部依赖关系。
• 开发一种方法，使用户能够有针对性地检测或忽略特定的依赖模式（如上下尾部依赖或特定函数形式），而非同等程度地检测所有类型的依赖关系。
• 通过将专家知识或数据驱动的模式编码为可度量、可解释的依赖系数，改进基于相关性的特征选择。
• 提供一个实用且计算可行的依赖分析框架，利用最优传输和配极聚类的最新进展。

提出的方法

• 使用来自边缘分布概率积分变换的样本配极来建模变量之间的成对依赖关系。
• 应用最优传输（Lightspeed Transportation）在配极空间上定义有意义的几何结构，从而实现依赖结构之间距离的计算。
• 在配极空间上使用聚类（如k-means）识别具有代表性的依赖模式，其中聚类中心用作目标或遗忘结构。
• 定义一种新颖的依赖系数——TFDC（目标化与遗忘依赖系数），其参数由用户指定的目标配极和遗忘配极构成，用于度量样本配极与目标之间的相似性。
• 利用最优传输中的Wasserstein距离作为底层度量，以比较配极并计算TFDC得分。
• 将该框架集成到查询驱动的系统中，用户可提出复杂的依赖查询（例如，“找出具有上尾部依赖但无线性相关性的配对”），并获得数据驱动的答案。

实验结果

研究问题

• RQ1 我们能否比皮尔逊相关或互信息更有效地度量非线性、非单调和尾部依赖相关性？
• RQ2 我们能否设计一种依赖系数，可选择性地检测或忽略特定类型的依赖关系，例如信用违约互换中的上尾部依赖或股票中的下尾部依赖？
• RQ3 配极表示与最优传输如何实现对高维数据中依赖关系更可解释且具有几何意义的分析？
• RQ4 配极聚类在多大程度上能揭示并总结现实世界数据集（如金融时间序列）中的主导依赖模式？
• RQ5 基于配极和最优传输的查询驱动框架，能否通过聚焦于领域相关的依赖结构，改进特征选择？

主要发现

• 当检测特定目标依赖模式时，所提出的TFDC方法在统计功效上显著优于通用度量方法（如MIC和dCor），尤其是在噪声水平增加的情况下。
• 金融资产（如股票、CDS、外汇汇率）的样本配极显示出与高斯配极的显著偏离，表现出不同的尾部依赖结构：股票呈现下尾部依赖，CDS表现出上尾部依赖，而外汇汇率则呈现异质性依赖模式。
• 配极聚类成功识别出具有实际意义的依赖模式，如完全依赖（comonotonicity）、反向依赖（countermonotonicity）和独立性，这些结果与金融领域的领域知识一致。
• 该方法能够回答复杂的依赖查询，例如识别出在小幅度变化下呈现正相关但整体无相关性的配对，通过手工设计或数据驱动的目标配极实现。
• 该框架在检测结构化非线性关系方面优于标准度量方法，证实当目标是领域特定依赖时，等性（equitability）并不总是可取的。
• 使用最优传输（Lightspeed Transportation）可高效计算配极距离，使该方法在计算上可扩展且适用于真实世界数据集，克服了以往的计算挑战。