[论文解读] A Semantic approach for effective document clustering using WordNet

Leena H. Patil, Mohammed Atique|arXiv (Cornell University)|Mar 3, 2013

Text and Document Classification Technologies参考文献 6被引用 5

一句话总结

本文提出一种利用 WordNet 增强词项选择并降低维度的语义文档聚类方法。通过整合 WordNet 的同义词与语义关系，结合预处理（去除停用词、词干还原），并应用 tf-idf、tf-df 和 tf2 进行词项加权，该方法在 Reuters-21578 和 20 Newsgroups 等基准数据集上提升了聚类准确率。

ABSTRACT

Now a days, the text document is spontaneously increasing over the internet, e-mail and web pages and they are stored in the electronic database format. To arrange and browse the document it becomes difficult. To overcome such problem the document preprocessing, term selection, attribute reduction and maintaining the relationship between the important terms using background knowledge, WordNet, becomes an important parameters in data mining. In these paper the different stages are formed, firstly the document preprocessing is done by removing stop words, stemming is performed using porter stemmer algorithm, word net thesaurus is applied for maintaining relationship between the important terms, global unique words, and frequent word sets get generated, Secondly, data matrix is formed, and thirdly terms are extracted from the documents by using term selection approaches tf-idf, tf-df, and tf2 based on their minimum threshold value. Further each and every document terms gets preprocessed, where the frequency of each term within the document is counted for representation. The purpose of this approach is to reduce the attributes and find the effective term selection method using WordNet for better clustering accuracy. Experiments are evaluated on Reuters Transcription Subsets, wheat, trade, money grain, and ship, Reuters 21578, Classic 30, 20 News group (atheism), 20 News group (Hardware), 20 News group (Computer Graphics) etc.

研究动机与目标

• 为解决在网页和电子邮件系统等大规模文本存储库中实现高效文档聚类的挑战。
• 通过利用 WordNet 作为外部知识，挖掘词项之间的语义关系，提升聚类准确率。
• 通过基于语义和统计标准的智能词项选择，降低特征空间维度。
• 评估将 WordNet 与传统词项加权方案（tf-idf、tf-df、tf2）结合在文档聚类中的有效性。
• 通过语义感知的预处理和特征选择，在标准文本聚类基准上展示优越性能。

提出的方法

• 通过去除停用词并应用 Porter 词干提取器对文档进行预处理以实现规范化。
• 利用 WordNet 识别同义词与语义关系，生成全局唯一词项集与频繁词项集。
• 从预处理后并经语义增强的词项构建词项-文档矩阵。
• 应用多种词项选择方法——tf-idf、tf-df 和 tf2——并设定最小阈值以选择相关词项。
• 统计每篇文档中词项的频率，用于数据矩阵中的表示。
• 整合 WordNet 的语义知识以增强词项表示，提升聚类性能。

实验结果

研究问题

• RQ1 与传统方法相比，引入 WordNet 语义关系在多大程度上提升了文档聚类准确率？
• RQ2 在结合语义增强的前提下，tf-idf、tf-df 和 tf2 中哪种词项选择策略能获得最佳聚类性能？
• RQ3 语义预处理在多大程度上降低了维度，同时保留了相关文档特征？
• RQ4 该方法在 Reuters-21578 和 20 Newsgroups 等多样化文本集合中表现如何？
• RQ5 WordNet 中的语义关系能否有效增强聚类任务中词项的表示？

主要发现

• WordNet 的集成显著提升了聚类准确率，通过语义关系丰富了词项表示。
• 在结合语义预处理时，tf-df 和 tf2 方法在聚类质量上优于 tf-idf。
• 所提方法有效降低了特征空间维度，同时保持了所选词项的高相关性。
• 在 Reuters-21578 和 20 Newsgroups 数据集上的实验表明，聚类 F 值和纯度均得到一致提升。
• 利用 WordNet 进行语义词项增强，有助于更好地识别全局词项集与频繁词项集，从而提升整体聚类性能。