[论文解读] A Markov Chain based Ensemble Method for Crowdsourced Clustering

Sujoy Chatterjee, Enakshi Kundu+1 more|arXiv (Cornell University)|Sep 6, 2016

Advanced Clustering Algorithms Research参考文献 11被引用 4

一句话总结

本文提出了一种基于马尔可夫链的集成方法，利用众包聚类解决方案生成对困难图像数据集的鲁棒共识聚类。通过使用调整兰德指数（ARI）标准化聚类标签，构建基于解决方案相似性的加权对象转移矩阵，并计算平稳分布以分配最终聚类标签，该方法在平衡秤数据集上的 ARI 达到 0.1767，优于现有集成算法，表现出更优的聚类质量。

ABSTRACT

In presence of multiple clustering solutions for the same dataset, a clustering ensemble approach aims to yield a single clustering of the dataset by achieving a consensus among the input clustering solutions. The goal of this consensus is to improve the quality of clustering. It has been seen that there are some image clustering tasks that cannot be easily solved by computer. But if these images can be outsourced to the general people (crowd workers) to group them based on some similar features, and opinions are collected from them, then this task can be managed in an efficient manner and time effective way. In this work, the power of crowd has been used to annotate the images so that multiple clustering solutions can be obtained from them and thereafter a Markov chain based ensemble method is introduced to make a consensus of multiple clustering solutions.

研究动机与目标

• 解决自动化系统难以准确分类复杂且模糊的图像所带来的聚类挑战。
• 利用众包工作者的人类智能，为困难的图像数据集生成多样化的聚类解决方案。
• 开发一种稳健的集成方法，将多个众包聚类解决方案整合为单一高质量的共识聚类。
• 通过使用调整兰德指数（ARI）标准化标签并选择参考聚类解决方案，克服众包工作者之间的标签不一致性。
• 通过基于马尔可夫链建模对象级聚类转移并计算平稳分布以进行最终标签分配，提升聚类性能。

提出的方法

• 设计了一个众包平台，从 25 名众包工作者处收集在具有固定聚类数的复杂图像数据集上的聚类解决方案。
• 使用相对于其他解决方案 ARI 得分最高的参考聚类解决方案，对所有工作者的聚类标签进行标准化。
• 构建了一个大小为 $ n \times n $ 的对象级转移矩阵，其中 $ T_{ij} $ 表示从聚类 $ i $ 到 $ j $ 的转移概率，该概率基于每个输入聚类解决方案的归一化 ARI 相似性加权。
• 通过添加均匀校正项使转移矩阵具有遍历性，以确保平稳分布的收敛。
• 对于每个数据对象，通过迭代方式 $ sd_y \leftarrow sd_y \cdot T $ 计算平稳分布 $ sd_y $，并将概率最大的聚类标签作为最终标签。
• 对所有对象重复该过程，生成最终的共识聚类解决方案。

实验结果

研究问题

• RQ1 基于马尔可夫链的集成方法能否有效整合来自众包工作者的多个多样化聚类解决方案，从而生成更高质量的共识聚类？
• RQ2 当合并聚类解决方案时，该方法如何处理众包工作者之间的标签不一致性？
• RQ3 与 CSPA、HGPA、MCLA 和 BCE 等现有集成算法相比，该方法在聚类有效性指数方面带来了多大的性能提升？
• RQ4 使用 ARI 加权转移矩阵和平稳分布建模是否能够提升图像聚类任务中共识的鲁棒性？
• RQ5 当应用于具有模糊图像分组的真实世界数据集时，该方法的性能扩展能力如何？

主要发现

• 该方法在平衡秤数据集上实现了 0.1767 的调整兰德指数（ARI），优于 CSPA（0.1579）、HGPA（0.1482）、MCLA（0.0118）和 BCE（0.0830）。
• 该方法的兰德指数（RI）达到 0.6071，高于所有对比算法，表明整体聚类一致性更优。
• 米尔金指数（MI）为 0.3929，表明该方法生成的共识聚类比现有方法具有更低的误分类误差。
• 胡贝尔指数（HI）为 0.2141，证实该方法生成的共识解比 CSPA（0.1883）、HGPA（0.0431）、MCLA（0.1971）和 BCE（0.1232）更准确。
• 结果表明，基于马尔可夫链的集成方法能有效利用多样化的众包聚类解决方案，生成更稳健、更准确的共识聚类。
• 该方法采用基于 ARI 的加权机制和遍历性转移矩阵，实现了稳定的收敛和更高的标签分配准确性。