[论文解读] Demystifying Information-Theoretic Clustering

Greg Ver Steeg, Aram Galstyan+2 more|arXiv (Cornell University)|Oct 15, 2013

Bayesian Methods and Mixture Models参考文献 14被引用 8

一句话总结

本文揭示了信息论聚类方法中一个根本性缺陷：这类方法通过最大化数据与聚类标签之间的互信息来实现聚类，但在数据量增加时会因偏好大小相等、任意的聚类而性能下降。本文提出了一种基于粗粒化下一致性的新型聚类目标——这是信息论中的一个基础性原则——从而在大数据极限下仍能生成稳健且保持结构的聚类。

ABSTRACT

We propose a novel method for clustering data which is grounded in information-theoretic principles and requires no parametric assumptions. Previous attempts to use information theory to define clusters in an assumption-free way are based on maximizing mutual information between data and cluster labels. We demonstrate that this intuition suffers from a fundamental conceptual flaw that causes clustering performance to deteriorate as the amount of data increases. Instead, we return to the axiomatic foundations of information theory to define a meaningful clustering measure based on the notion of consistency under coarse-graining for finite data.

研究动机与目标

• 识别现有信息论聚类方法中一个根本性概念缺陷：这些方法试图最大化数据与聚类标签之间的互信息。
• 解决互信息聚类在大数据极限下失效的问题，即其产生的是任意的、大小相等的聚类，而非有意义的数据结构。
• 提出一种基于信息论公理的聚类目标，确保在有限样本下依然有效且稳健。
• 提供一种非参数估计器来估计所提出的聚类目标，避免依赖参数模型或相似性度量。
• 证明最小化粗粒化下的一致性违反程度可产生更自然、更稳定的聚类结构。

提出的方法

• 将聚类重新解释为最小化粗粒化下的一致性违反程度——这是香农熵的一个基础公理——并将其应用于有限数据。
• 提出一种基于划分在数据粗粒化时违反该一致性的程度的新型聚类目标。
• 利用近邻统计构建一致性违反程度度量的非参数估计器。
• 将目标重新表述为最小化估计的聚类标签不确定性，从而为该方法提供一种替代解释。
• 开发一种可计算的启发式优化算法，以寻找使一致性违反程度最小的聚类分配。
• 利用近邻距离估计局部熵和一致性违反程度，而无需假设参数分布。

实验结果

研究问题

• RQ1 为何基于互信息的聚类方法在数据规模增大时会失效，尽管其理论基础具有吸引力？
• RQ2 信息论中的哪一个基础性原则可用于为有限样本定义稳健的聚类目标？
• RQ3 如何将粗粒化下的一致性原则适配到有限数据聚类中，以保持自然的聚类结构？
• RQ4 能否设计一种非参数聚类方法，避免对平衡聚类的偏好，同时保持对光滑数据变换的不变性？
• RQ5 最小化一致性违反程度是否能在合成数据和真实世界数据集上，相比互信息最大化方法，实现更优的聚类性能？

主要发现

• 基于互信息的聚类方法在大数据极限下会因偏好大小相等、任意的聚类而失效，忽略数据的内在结构。
• 所提出的方法即使在数据规模增大时，也能成功恢复合成数据中的自然非凸聚类结构。
• 在标准基准数据集上，该方法优于基于互信息的聚类方法，实现了具有竞争力的聚类准确率。
• 一致性违反度量被证明是聚类质量的可靠指标，值越低，对应聚类划分越稳健、越有意义。
• 实证结果表明，以往研究中互信息聚类的成功归因于估计器的偏差，而非目标函数本身。
• 该方法对光滑可逆的数据变换保持不变，保留了信息论方法的关键优势。