[论文解读] Measuring dependence powerfully and equitably

Yakir Reshef, David N. Reshef+3 more|arXiv (Cornell University)|Jan 1, 2016

Advanced Statistical Methods and Models参考文献 29被引用 33

一句话总结

本文提出了两种用于测量高维数据依赖性的新统计量：一种针对在相同噪声水平下检测多种关系类型时保持公平性的优化，另一种则用于强大的独立性检验。这些方法基于一种新的总体依赖度量，该度量等价于互信息的规范平滑，具备高效的计算性能和在一致性及偏差-方差性能方面的强理论保证。

ABSTRACT

Given a high-dimensional data set, we often wish to find the strongest relationships within it. A common strategy is to evaluate a measure of dependence on every variable pair and retain the highest-scoring pairs for follow-up. This strategy works well if the statistic used (a) has good power to detect non-trivial relationships, and (b) is equitable, meaning that for some measure of noise it assigns similar scores to equally noisy relationships regardless of relationship type (e.g., linear, exponential, periodic). In this paper, we define and theoretically characterize two new statistics that together yield an efficient approach for obtaining both power and equitability. To do this, we first introduce a new population measure of dependence and show three equivalent ways that it can be viewed, including as a canonical smoothing of mutual information. We then introduce an efficiently computable consistent estimator of our population measure of dependence, and we empirically establish its equitability on a large class of noisy functional relationships. This new statistic has better bias/variance properties and better runtime complexity than a previous heuristic approach. Next, we derive a second, related statistic whose computation is a trivial side-product of our algorithm and whose goal is powerful independence testing rather than equitability. We prove that this statistic yields a consistent independence test and show in simulations that the test has good power against independence. Taken together, our results suggest that these two statistics are a valuable pair of tools for exploratory data analysis.

研究动机与目标

• 开发一种依赖度量，使其在相同噪声水平下对不同关系类型（如线性、周期性、指数型）保持公平评分。
• 设计一种计算高效且一致的新型总体依赖度量的估计器，以改进以往基于启发式的方法。
• 提供第二种统计量，用于强大的独立性检验，与公平性形成互补。
• 通过多种等价表述形式（包括互信息的规范平滑）对新总体依赖度量进行理论表征。
• 通过广泛的功能关系类别的模拟实验，实证验证所提统计量在公平性与统计功效方面的表现。

提出的方法

• 定义一种新的总体依赖度量，其等价于互信息的规范平滑，从而实现一致估计与公平行为。
• 引入一种可高效计算且一致的总体度量估计器，利用数据驱动的分箱与平滑技术以减少偏差与方差。
• 证明，公平性优化统计量的计算过程自然产生第二种统计量，后者用于独立性检验。
• 证明第二种统计量能提供一致的独立性检验，且在样本量增大时具备理论保证的检测依赖能力。
• 通过模拟实验将新估计器与以往启发式方法进行比较，显示其在偏差-方差权衡方面更优，且运行时间复杂度更低。
• 建立总体度量与三种不同解释之间的等价性：作为平滑后的互信息、在再生核希尔伯特空间上的归一化协方差，以及在变换特征空间上的相关系数。

实验结果

研究问题

• RQ1 能否构建一种依赖度量，使其在功能形式不同时，对具有相同噪声水平的关系分配相似评分，从而确保公平性？
• RQ2 如何为一种新型总体依赖度量设计一种一致且高效的估计器，使其同时支持公平性与独立性检验？
• RQ3 所提出的总体依赖度量与互信息及基于核的依赖度量等既有概念之间存在何种理论关系？
• RQ4 从算法中导出的第二种统计量是否在保持计算效率的同时，实现了强大的独立性检验功效？
• RQ5 在多种功能关系上，新统计量与以往启发式方法相比，在偏差、方差与运行时间方面表现如何？

主要发现

• 所提出的总体依赖度量在数学上等价于互信息的规范平滑，为公平依赖度量提供了坚实的理论基础。
• 该总体度量的一致估计器在偏差-方差权衡方面优于以往启发式方法，在广泛的功能关系类别的实证实验中表现出更优的公平性。
• 该算法的运行时间复杂度优于以往方法，使高维数据集的高效应用成为可能。
• 作为主计算过程副产品导出的第二种统计量，提供了具有一致性的独立性检验，且在模拟实验中表现出强大的实证功效。
• 理论分析证实，两种统计量均具有一致性：以公平性为导向的统计量收敛于真实依赖度量，而独立性检验统计量在样本量增加时能正确拒绝零假设（即独立性）。
• 实证结果表明，新统计量能有效检测并排序高维数据中的非平凡关系，在公平性与统计功效方面均优于以往方法。