[论文解读] GALILEO: A Generalized Low-Entropy Mixture Model

Çetin Şavklı, Jeffrey S. Lin+2 more|arXiv (Cornell University)|Aug 24, 2017

Bayesian Methods and Mixture Models参考文献 18被引用 5

一句话总结

GALILEO 通过使用基于熵的密度度量，迭代地从初始的高组件混合模型中剔除低密度组件，提出了一种用于分类数据聚类的广义低熵混合模型。该方法实现了线性可扩展性（$\mathcal{O}(Nk\log k)$），并始终能识别出高质量、最优的聚类，在蘑菇、选票和大豆等基准数据集上表现出最先进的性能。

ABSTRACT

We present a new method of generating mixture models for data with categorical attributes. The keys to this approach are an entropy-based density metric in categorical space and annealing of high-entropy/low-density components from an initial state with many components. Pruning of low-density components using the entropy-based density allows GALILEO to consistently find high-quality clusters and the same optimal number of clusters. GALILEO has shown promising results on a range of test datasets commonly used for categorical clustering benchmarks. We demonstrate that the scaling of GALILEO is linear in the number of records in the dataset, making this method suitable for very large categorical datasets.

研究动机与目标

• 为解决分类数据空间中缺乏有效的密度度量的问题，这会阻碍传统混合建模和聚类。
• 开发一种适用于高维大规模分类数据集的可扩展概率聚类方法。
• 通过迭代剔除低密度组件，实现最优聚类数的自动确定。
• 通过用更准确捕捉分类数据中自然聚类结构的基于熵的密度度量替代基于距离的度量，提升聚类质量。
• 确保对大规模数据集具有线性计算扩展性，使该方法在实际应用中具有可行性。

提出的方法

• 提出一种基于熵的广义密度度量：有效长度 $ d = \exp(S) $，其中 $ S = -\sum p_a \log p_a $，用于量化分类空间中的分布密度。
• 通过各属性的有效长度乘积将基于熵的密度扩展到高维：$ V = \exp(\sum_{m=1}^M S_m) $，定义广义超体积和密度。
• 以大量组件初始化混合模型，以广泛覆盖数据空间。
• 应用迭代退火过程：每一步运行 EM 算法拟合组件，然后使用基于熵的度量剔除高熵/低密度的组件。
• 在每一步中使用期望最大化（EM）算法优化组件参数，确保收敛至高密度区域。
• 采用基于熵的适应度准则指导剔除，优先保留熵较低、数据点更集中的组件。

实验结果

研究问题

• RQ1 基于熵的密度度量是否能有效衡量分类数据空间中组件的质量，而传统距离度量在此失效？
• RQ2 从初始高组件混合模型中迭代剔除低熵组件，是否能产生稳定且最优的聚类解？
• RQ3 该方法是否能自动确定最优聚类数，而无需预先指定？
• RQ4 所提算法的计算复杂度是多少？是否随数据集规模线性扩展？
• RQ5 GALILEO 在标准基准数据集上的性能与当前最先进的分类聚类算法相比如何？

主要发现

• GALILEO 实现了线性时间复杂度 $\mathcal{O}(Nk\log k)$，使其在大规模分类数据集上具有高度可扩展性。
• 在蘑菇数据集上，GALILEO 识别出 23 个聚类——略多于 ROCK 的 21 个——通过拆分模糊聚类，特别是那些混合可食用性的聚类，且未产生任何包含混合可食用性属性的聚类。
• 在选票数据集上，GALILEO 的 $\bar{CU}_{G} = 1.4686$，与 ROCK 的 $1.4674$ 相当，表明聚类性能出色。
• 在大豆数据集上，GALILEO 的 $\bar{CU}_{G} = 1.0912$，优于 COOLCAT 的 $0.9362$，且在相同指标下表现更优，识别出 7 个聚类且具高度一致性。
• 该算法在多次运行中始终收敛到相同的最优聚类数，表现出强鲁棒性和稳定性。
• 在合成数据上的扩展性测试证实，当 $N \geq 10^3$ 时，性能接近线性（$\mathcal{O}(N)$），验证了理论复杂度分析。