[论文解读] Probabilistic Multilevel Clustering via Composite Transportation Distance

Nhat Ho, Viet Huynh+2 more|arXiv (Cornell University)|Oct 29, 2018

Data Management and Algorithms被引用 5

一句话总结

本文提出了一种新颖的基于概率的多级聚类方法——多级复合运输（Multilevel Composite Transportation, MCT），该方法基于Kullback-Leibler散度的复合运输距离，联合优化离散与连续数据的局部和全局聚类。该方法在合成数据集和真实世界数据集（包括LabelMe和NUS-WIDE）上均优于现有方法，通过利用最优传输理论和高效的中心点计算，展现出更优的聚类准确率和可扩展性。

ABSTRACT

We propose a novel probabilistic approach to multilevel clustering problems based on composite transportation distance, which is a variant of transportation distance where the underlying metric is Kullback-Leibler divergence. Our method involves solving a joint optimization problem over spaces of probability measures to simultaneously discover grouping structures within groups and among groups. By exploiting the connection of our method to the problem of finding composite transportation barycenters, we develop fast and efficient optimization algorithms even for potentially large-scale multilevel datasets. Finally, we present experimental results with both synthetic and real data to demonstrate the efficiency and scalability of the proposed approach.

研究动机与目标

• 解决现有多级聚类方法在同时处理离散与连续数据方面效果不佳的局限性。
• 开发一种统一的概率框架，以捕捉数据中的层次结构，如文档中的词汇或语料库中的图像。
• 实现无需依赖狄利克雷过程先验或基于采样的推理方法的高效、可扩展聚类。
• 通过最优传输理论挖掘混合模型参数的几何结构，以提升聚类性能。
• 提供一种灵活且统计高效的聚类方法，在保持计算可行性的同时实现跨聚类的信息共享。

提出的方法

• 该方法基于复合运输距离，其为最优传输的一种变体，使用Kullback-Leibler散度作为基础度量，而非欧几里得距离。
• 通过在概率测度上建立联合优化问题，同时学习局部聚类（每组内）和全局聚类（跨组）。
• 局部聚类通过未知的混合模型建模，其参数通过最小化基于KL散度的复合运输成本来估计。
• 全局聚类通过求解局部测度上的复合运输中心点问题实现，从而获得组的全局划分。
• 优化过程采用坐标下降法，并结合快速Wasserstein中心点算法，实现对大规模数据集的可扩展性。
• 该方法避免使用狄利克雷过程先验，同时保留其在聚类间共享原子的灵活性，从而提升统计效率。

实验结果

研究问题

• RQ1 能否开发一种概率性多级聚类方法，有效处理离散与连续数据类型？
• RQ2 如何将最优传输理论适配为以Kullback-Leibler散度为基本度量的多级聚类方法？
• RQ3 能否通过统一的优化框架高效实现局部与全局聚类的联合优化？
• RQ4 所提出的方法是否在真实世界多级数据集上优于K-means、W-means和SVB-MC2等现有方法？
• RQ5 在层次结构中，跨聚类的统计强度共享在多大程度上提升了该方法的性能？

主要发现

• 在LabelMe数据集（连续特征）上，MCT的NMI为0.485，ARI为0.412，AMI为0.477，优于K-means、W-means和SVB-MC2。
• 在NUS-WIDE数据集（离散标签）上，MCT的NMI为0.423，ARI为0.255，AMI为0.39，显著优于基线方法在离散数据上的表现。
• 基线方法如K-means和W-means在离散数据上表现较差，ARI值低于0.10，表明其鲁棒性差且聚类质量低。
• 在NUS-WIDE上发现的聚类的标签云可视化结果表明，聚类具有语义一致性，如兔子与狮子等清晰分组。
• 该方法展现出强大的可扩展性和效率，通过优化的中心点计算，实现了大规模多级数据集的快速计算。
• 该方法通过在不依赖狄利克雷过程先验的前提下实现聚类间原子共享，保持了灵活性与统计效率。