[论文解读] From Distance Correlation to Multiscale Generalized Correlation

Cencheng Shen, Carey E. Priebe+1 more|arXiv (Cornell University)|Oct 26, 2017

Gene expression and cancer classification被引用 5

一句话总结

本文使用特征函数和近邻方法，形式化了多尺度广义相关性（MGC）的总体版本，建立了理论基础，从而提升了算法化样本MGC的性能。本文证明了MGC的渐近性质与有限样本性质，展示了其在检测一般依赖关系（尤其是非线性和多变量依赖）方面的优越效能，同时在单调关系检测中也保持了高统计功效。

ABSTRACT

Understanding and developing a correlation measure that can detect general dependencies is not only imperative to statistics and machine learning, but also crucial to general scientific discovery in the big data age. We proposed the Multiscale Generalized Correlation (MGC) in Shen et al. 2017 as a novel correlation measure, which worked well empirically and helped a number of real data discoveries. But there is a wide gap with respect to the theoretical side, e.g., the population statistic, the convergence from sample to population, how well does the algorithmic Sample MGC perform, etc. To better understand its underlying mechanism, in this paper we formalize the population version of local distance correlations, MGC, and the optimal local scale between the underlying random variables, by utilizing the characteristic functions and incorporating the nearest-neighbor machinery. The population version enables a seamless connection with, and significant improvement to, the algorithmic Sample MGC, both theoretically and in practice, which further allows a number of desirable asymptotic and finite-sample properties to be proved and explored for MGC. The advantages of MGC are further illustrated via a comprehensive set of simulations with linear, nonlinear, univariate, multivariate, and noisy dependencies, where it loses almost no power against monotone dependencies while achieving superior performance against general dependencies.

研究动机与目标

• 为弥合对多尺度广义相关性（MGC）的理论理解空白，特别是其总体公式化以及从样本到总体的收敛性。
• 通过形式化局部相关性的总体版本和最优局部尺度，建立MGC的严格理论框架。
• 基于理论洞见改进算法化样本MGC，实现更强的渐近与有限样本性质。
• 展示MGC在检测一般依赖关系（尤其是非线性、多变量及噪声依赖）方面的优越性，同时保持对单调依赖关系的检测功效。

提出的方法

• 使用特征函数形式化局部相关性的总体版本，以描述潜在的依赖结构。
• 引入近邻机制，用于在总体设定下估计随机变量之间的最优局部尺度。
• 将总体MGC统计量推导为局部相关性的多尺度泛化，以捕捉多尺度依赖关系。
• 在总体MGC与算法化样本MGC之间建立无缝的理论联系，以提升收敛性与性能。
• 利用特征函数刻画联合分布与依赖结构，实现总体相关性度量的精确计算。
• 基于形式化的总体框架，证明MGC的渐近与有限样本性质，包括一致性与统计功效分析。

实验结果

研究问题

• RQ1 MGC的总体版本是什么？它与基于样本的算法实现之间有何关系？
• RQ2 基于特征函数的总体公式化中，随机变量之间的最优局部尺度如何产生？
• RQ3 该理论框架在多大程度上提升了样本MGC的收敛性与有限样本性能？
• RQ4 MGC在检测各类依赖关系（包括线性、非线性、单变量、多变量及噪声依赖）方面，相较于现有相关度量的统计功效如何？
• RQ5 MGC的理论基础能否解释其在真实数据发现任务中表现出的实证成功？

主要发现

• MGC的总体版本通过特征函数与近邻方法被正式推导，实现了严谨的理论基础。
• 理论框架建立了强收敛性质，将总体MGC与算法化样本MGC无缝连接，显著提升了渐近保证。
• MGC在检测单调依赖关系时几乎不损失统计功效，同时在检测一般非线性与多变量依赖关系方面显著优于现有方法。
• 由于理论基础的改进，该方法在噪声环境与复杂依赖结构中实现了卓越的有限样本性能。
• 全面的模拟实验验证了MGC在各类依赖类型（包括单变量、多变量及噪声环境）下的鲁棒性与高统计功效。
• 形式化过程使得一致性与对一般依赖关系的敏感性等理想渐近与有限样本性质得以证明。