[论文解读] Document clustering using graph based document representation with constraints

Muhammad Rafi, Farnaz Amin+1 more|arXiv (Cornell University)|Dec 5, 2014

Text and Document Classification Technologies参考文献 3被引用 6

一句话总结

本文提出一种基于图的文档表示方法，结合实例级、语料级和聚类级约束，以提升文档聚类性能。通过将文档建模为图，并将约束整合到一种新型的约束型层次聚类算法（Constrained HAC）中，该方法显著提升了聚类质量，如在标准数据集和合成数据集上，纯度、熵和F-measure指标均得到改善。

ABSTRACT

Document clustering is an unsupervised approach in which a large collection of documents (corpus) is subdivided into smaller, meaningful, identifiable, and verifiable sub-groups (clusters). Meaningful representation of documents and implicitly identifying the patterns, on which this separation is performed, is the challenging part of document clustering. We have proposed a document clustering technique using graph based document representation with constraints. A graph data structure can easily capture the non-linear relationships of nodes, document contains various feature terms that can be non-linearly connected hence a graph can easily represents this information. Constrains, are explicit conditions for document clustering where background knowledge is use to set the direction for Linking or Not-Linking a set of documents for a target clusters, thus guiding the clustering process. We deemed clustering is an ill-define problem, there can be many clustering results. Background knowledge can be used to drive the clustering algorithm in the right direction. We have proposed three different types of constraints, Instance level, corpus level and cluster level constraints. A new algorithm Constrained HAC is also proposed which will incorporate Instance level constraints as prior knowledge; it will guide the clustering process leading to better results. Extensive set of experiments have been performed on both synthetic and standard document clustering datasets, results are compared on standard clustering measures like: purity, entropy and F-measure. Results clearly establish that our proposed approach leads to improvement in cluster quality.

研究动机与目标

• 通过引入约束形式的背景知识，解决文档聚类定义不明确的问题。
• 通过将文档建模为图以捕捉非线性词项关系，提升聚类质量。
• 提出一种新型的约束型层次聚类算法（Constrained HAC），利用实例级约束作为先验知识。
• 评估三类约束——实例级、语料级和聚类级——对聚类性能的影响。
• 通过标准评估指标，在标准和合成文档聚类数据集上展示优越性能。

提出的方法

• 将文档表示为图，其中词项作为节点，共现关系或语义关系作为边，以实现非线性结构的建模。
• 引入三类约束：实例级约束（必须链接/非链接对）、语料级约束（全局聚类偏好）和聚类级约束（目标聚类大小或结构）。
• 设计一种新型的约束型HAC算法，将实例级约束整合到层次聚类过程中，以指导合并决策。
• 利用基于图的表示方法，保留传统向量空间模型可能忽略的复杂词项交互关系。
• 应用标准聚类评估指标——纯度、熵和F-measure——与基线方法进行性能对比。
• 在合成数据集和真实世界文档数据集上开展大量实验，以验证该方法的有效性。

实验结果

研究问题

• RQ1 与传统向量空间模型相比，基于图的文档表示是否能更有效地捕捉非线性词项关系？
• RQ2 在原本无监督的设置下，实例级约束在多大程度上能提升聚类质量？
• RQ3 语料级和聚类级约束在多大程度上能增强聚类结果的连贯性和准确性？
• RQ4 所提出的约束型HAC算法是否在标准文档聚类基准上优于标准层次聚类方法？
• RQ5 不同类型的约束在纯度、熵和F-measure指标上的影响如何比较？

主要发现

• 所提出的基于图的表示方法通过更有效地建模复杂且非线性的词项关系，显著提升了聚类质量，优于传统向量空间模型。
• 通过约束型HAC算法引入实例级约束，在所有数据集上均显著提升了纯度、熵和F-measure指标。
• 语料级和聚类级约束的整合进一步优化了聚类结构，并增强了结果的可解释性。
• 在合成数据集和标准数据集上的实验结果一致表明，该方法在基线聚类方法上实现了性能提升。
• 该方法在所有标准评估指标上均表现出稳健性和可扩展性，性能提升明显。
• 结果表明，基于约束的引导策略能有效缓解无监督文档聚类中固有的模糊性问题。