[论文解读] Equitability Analysis of the Maximal Information Coefficient, with Comparisons

David N. Reshef, Yakir Reshef+2 more|arXiv (Cornell University)|Jan 27, 2013

Advanced Statistical Methods and Models参考文献 13被引用 71

一句话总结

本文分析了最大信息系数（MIC）的公平性，证明其归一化和最大化步骤对于在不同噪声模型和样本量下实现高公平性至关重要。由于其设计确保了在功能形式各异但噪声水平相近的关系中得分相似，因此在样本量低于5,000时，MIC在公平性方面优于互信息估计和距离相关性。

ABSTRACT

A measure of dependence is said to be equitable if it gives similar scores to equally noisy relationships of different types. Equitability is important in data exploration when the goal is to identify a relatively small set of strongest associations within a dataset as opposed to finding as many non-zero associations as possible, which often are too many to sift through. Thus an equitable statistic, such as the maximal information coefficient (MIC), can be useful for analyzing high-dimensional data sets. Here, we explore both equitability and the properties of MIC, and discuss several aspects of the theory and practice of MIC. We begin by presenting an intuition behind the equitability of MIC through the exploration of the maximization and normalization steps in its definition. We then examine the speed and optimality of the approximation algorithm used to compute MIC, and suggest some directions for improving both. Finally, we demonstrate in a range of noise models and sample sizes that MIC is more equitable than natural alternatives, such as mutual information estimation and distance correlation.

研究动机与目标

• 探讨依赖度量中公平性的理论与实践基础，尤其针对高维数据探索。
• 确定MIC中的归一化和最大化步骤是否对其实现公平性至关重要，相较于其他依赖度量。
• 评估近似算法参数对MIC运行时间和准确性的影响，并判断算法误差是否导致其偏离公平性。
• 在多种噪声模型和样本量下，比较MIC与互信息估计及距离相关性的公平性。
• 探讨MIC的公平性是否源于其设计，还是源于互信息的固有属性，并评估公平性与统计功效之间的权衡。

提出的方法

• 在噪声函数关系背景下，使用正式定义的公平性：若度量对具有相同噪声水平的关系赋予相似得分，而不论其函数类型如何，则该度量是公平的。
• 使用一组测试函数（如线性、指数、正弦）并控制噪声水平，以在六种不同的噪声模型下模拟多样化的关系类型。
• 在样本量为n=500、n=5000、n=10,000和n=20,000时，将MIC与互信息（使用Kraskov等人提出的估计器）和距离相关性进行比较。
• 通过移除归一化或最大化步骤，分析MIC的变体，以分离各组件对公平性的贡献。
• 通过改变近似算法的参数（如网格分辨率、迭代次数），评估其性能，以衡量速度与准确性的权衡。
• 使用相同R²值下MIC得分的标准差来衡量公平性，标准差越低表示公平性越高。

实验结果

研究问题

• RQ1 MIC定义中的归一化和最大化步骤是否对其实现公平性至关重要？还是更简单的度量如互信息也能实现类似的公平性？
• RQ2 在不同噪声模型和样本量下，互信息估计中平滑参数的选择如何影响其相对于MIC的公平性？
• RQ3 MIC近似算法引入的误差在多大程度上导致其偏离理想公平性？
• RQ4 在样本量有限的情况下，MIC的公平性与距离相关性和互信息在各种噪声模型下的表现如何比较？
• RQ5 通过调整算法参数，能否更高效地计算MIC，同时保持公平性损失最小？

主要发现

• MIC中的归一化和最大化步骤对公平性至关重要；若移除任一步骤，所有噪声模型下的公平性均显著下降。
• 在n=500时，MIC的公平性远优于互信息估计，互信息在相同R²值下对具有相同噪声水平的关系得分差异最高可达0.65，尤其在水平与垂直噪声联合存在时。
• 即使在n=5000时，MIC在大多数噪声模型下仍优于互信息的公平性，仅在仅存在垂直噪声的模型中表现相近。
• 在仅存在水平噪声的模型中，互信息对具有相同噪声水平的关系得分差异最高可达0.88，表明其公平性差，而MIC保持了稳定的评分。
• 报告的MIC值与理想公平性的偏差部分源于近似算法的误差，提示更优的算法可进一步提升MIC性能。
• MIC近似算法的默认参数可通过调整显著缩短运行时间，且公平性损失极小，表明在实际应用中存在显著的优化空间。