[论文解读] Document Clustering using K-Medoids

Monica Jha|arXiv (Cornell University)|Apr 6, 2015

Advanced Clustering Algorithms Research参考文献 7被引用 5

一句话总结

本文提出使用K-中心点聚类算法对相似文档进行分组，以提升信息检索与摘要生成的效果。通过选择实际数据点作为聚类中心（即中心点），该方法相比K-均值算法在抗噪声和异常值方面更具鲁棒性，从而在组织大规模文档集合时实现了更高的聚类凝聚度与准确性。

ABSTRACT

People are always in search of matters for which they are prone to use internet, but again it has huge assemblage of data due to which it becomes difficult for the reader to get the most accurate data. To make it easier for people to gather accurate data, similar information has to be clustered at one place. There are many algorithms used for clustering of relevant information in one platform. In this paper, K-Medoids clustering algorithm has been employed for formation of clusters which is further used for document summarization.

研究动机与目标

• 解决从海量非结构化网络数据中检索准确信息的挑战。
• 通过将语义相似的文档分组，改善文档组织。
• 评估K-中心点作为K-均值在文档聚类中的鲁棒替代方案的有效性。
• 通过高效且抗噪声的聚类支持文档摘要生成。
• 展示基于中心点的聚类在现实世界信息检索任务中的有效性。

提出的方法

• 将K-中心点算法应用于基于TF-IDF表示生成的文档向量。
• 聚类中心选择为实际文档（即中心点），而非质心，从而提升可解释性与鲁棒性。
• 算法最小化每个文档与其分配的中心点之间的绝对距离之和。
• 使用距离度量（通常为欧几里得距离或曼哈顿距离）衡量文档间的相似性。
• 采用PAM（基于中心点的划分）算法，迭代地将文档分配给最近的中心点，并更新中心点以实现最优聚类。
• 聚类结果用于对文档进行分组，以支持后续的摘要生成与信息检索。

实验结果

研究问题

• RQ1 与其它聚类方法相比，K-中心点在聚类大规模文本文档集合时的效果如何？
• RQ2 在噪声较多的文档数据中，K-中心点是否能产生比K-均值更稳定且更易解释的聚类？
• RQ3 K-中心点在多大程度上提升了文档检索与摘要生成的准确性？
• RQ4 将实际数据点用作中心点在现实世界文本应用中如何提升聚类性能？
• RQ5 在使用K-中心点进行文档数据聚类时，距离度量的选择对聚类质量有何影响？

主要发现

• 在文档数据中，K-中心点在聚类稳定性和抗异常值能力方面优于K-均值。
• 使用实际文档作为中心点显著提升了可解释性，并便于直接用于摘要生成。
• 该算法在测试的文档集合中实现了更高的聚类凝聚度与更低的组内方差。
• 该方法能有效将大规模文档仓库组织为有意义且语义一致的组别。
• 结果表明，K-中心点是信息检索系统中文档聚类的一种合适且高效的方法。
• 本研究证实，基于中心点的聚类能显著提升文档摘要流程的质量。