[论文解读] Distances between Data Sets Based on Summary Statistics

Nikolaj Tatti|arXiv (Cornell University)|Feb 4, 2019

Bayesian Modeling and Causal Inference参考文献 20被引用 20

一句话总结

本文提出了CM距离，这是一种基于统计学原理、计算高效的度量方法，用于通过汇总统计量比较数据集。它利用马氏距离的原理来考虑特征之间的相关性，从而在一般数据上实现三次方时间复杂度的计算，在二值数据上通过奇偶函数实现线性时间评估，实证验证表明其在多种真实世界数据集中能揭示有意义的聚类结构。

ABSTRACT

The concepts of similarity and distance are crucial in data mining. We consider the problem of defining the distance between two data sets by comparing summary statistics computed from the data sets. The initial definition of our distance is based on geometrical notions of certain sets of distributions. We show that this distance can be computed in cubic time and that it has several intuitive properties. We also show that this distance is the unique Mahalanobis distance satisfying certain assumptions. We also demonstrate that if we are dealing with binary data sets, then the distance can be represented naturally by certain parity functions, and that it can be evaluated in linear time. Our empirical tests with real world data show that the distance works well.

研究动机与目标

• 定义一种反映数据集之间统计相似性的距离度量，同时保持计算上的可行性。
• 确保该距离能考虑特征之间的相关性，避免对特征独立性做出过于简化的假设。
• 开发一种高效可扩展的方法，尤其适用于高维或大规模数据集。
• 在真实世界数据上进行实证验证，证明其能够揭示数据的结构模式。
• 通过理论证明确立CM距离的唯一性，即它是唯一满足特定统计假设的马氏距离。

提出的方法

• 通过将每个数据集的观测特征均值所匹配的概率分布集合进行几何解释来定义CM距离。
• 计算产生相同汇总统计量的受限分布集合之间的最小马氏距离，从而得到唯一解。
• 对于一般数据，基于求解二次优化问题，以O(N³)时间复杂度计算距离，其中N为特征数量。
• 对于二值数据，通过奇偶函数重新表述，实现线性时间评估。
• 方法使用将数据点映射到R^N的特征函数S，汇总统计量定义为数据集上的经验均值。
• 该方法支持多种特征类型，包括独立均值、成对相关性以及频繁项集，通过模块化特征集设计实现。

实验结果

研究问题

• RQ1 能否定义一种数据集之间的距离度量，使其能正确反映汇总统计量之间的相关性？
• RQ2 是否存在唯一一个马氏距离，满足自然的统计与几何约束？
• RQ3 该距离能否高效计算，尤其是在大规模或高维数据上？
• RQ4 CM距离在真实世界数据集中能否有效揭示结构模式？
• RQ5 该距离是否优于更简单的基线方法，如独立均值或基于频率的距离？

主要发现

• CM距离是唯一满足所需统计与几何约束的马氏距离，提供了理论依据。
• 对于一般数据，CM距离的计算复杂度为O(N³)；对于二值数据，通过奇偶函数表示可实现O(N)时间复杂度。
• 实证结果表明，CM距离在多种数据集（如20Newsgroups、Bible、Beatles、TopGenres）中能揭示有意义的聚类结构。
• 在20Newsgroups和TopDecades数据集中，使用(独立均值, 协方差, 频繁项集)特征集的CM距离能正确识别出主题和时间上的分组。
• 在大多数数据集中，CM距离优于基线距离，尤其当使用频繁项集作为特征时表现更优，但性能随数据类型而异。
• 使用相关特征（cov）和独立均值（ind）产生的距离几乎相同，而频繁项集（freq）则产生截然不同、更具信息量的结构。