[论文解读] Content-driven, unsupervised clustering of news articles through multiscale graph partitioning

M. Tarık Altuncu, Sophia N. Yaliraki+1 more|arXiv (Cornell University)|Aug 3, 2018

Complex Network Analysis Techniques被引用 9

一句话总结

本文提出了一种无监督、内容驱动的新闻文章聚类框架，采用Doc2vec嵌入和基于马尔可夫稳定性的多尺度图分割方法。该方法在多个分辨率下揭示了分层的主题分组，相较于LDA或基线方法，实现了更高的主题一致性，并与商业分类服务的对齐度更好，该结论基于2016年Vox媒体的9,021篇新闻文章语料库验证。

ABSTRACT

The explosion in the amount of news and journalistic content being generated across the globe, coupled with extended and instantaneous access to information through online media, makes it difficult and time-consuming to monitor news developments and opinion formation in real time. There is an increasing need for tools that can pre-process, analyse and classify raw text to extract interpretable content; specifically, identifying topics and content-driven groupings of articles. We present here such a methodology that brings together powerful vector embeddings from Natural Language Processing with tools from Graph Theory that exploit diffusive dynamics on graphs to reveal natural partitions across scales. Our framework uses a recent deep neural network text analysis methodology (Doc2vec) to represent text in vector form and then applies a multi-scale community detection method (Markov Stability) to partition a similarity graph of document vectors. The method allows us to obtain clusters of documents with similar content, at different levels of resolution, in an unsupervised manner. We showcase our approach with the analysis of a corpus of 9,000 news articles published by Vox Media over one year. Our results show consistent groupings of documents according to content without a priori assumptions about the number or type of clusters to be found. The multilevel clustering reveals a quasi-hierarchy of topics and subtopics with increased intelligibility and improved topic coherence as compared to external taxonomy services and standard topic detection methods.

研究动机与目标

• 解决无监督、内容驱动的新闻文章聚类挑战，无需预定义类别或标签。
• 通过利用深度文本嵌入和图论多尺度分析，提升主题的一致性和可解释性。
• 直接从文档向量的语义相似性中检测分层主题结构——子主题与更广泛的主题。
• 在主题一致性与聚类相似性方面，与商业分类服务（Google Cloud、Open Calais）及标准主题建模方法（LDA）进行性能评估。
• 展示该方法捕捉时间动态和事件特异性内容（如美国大选周期）的能力，通过时间解析的聚类特征实现。

提出的方法

• 文本预处理包括分词、停用词移除、通过NLTK进行词干化，以及使用基于频率的哈希技术消除重复且无信息的包装句。
• 使用Doc2vec生成文档向量，这是一种深度神经网络模型，可学习捕捉整个文档语义和句法特征的密集向量表示。
• 构建相似性图，其中节点代表文档向量，边代表向量之间的余弦相似度。
• 应用多尺度社区检测，基于马尔可夫稳定性框架，通过分析图上的随机游走动态，在多个分辨率参数下识别稳定分区。
• 通过调节分辨率参数，该方法生成从细粒度子主题到更广泛主题的聚类层次结构，支持多级主题探索。
• 使用归一化互信息（NMI）评估聚类质量，与商业API对比；同时使用PMI主题一致性分数，与LDA及基线方法进行比较。

实验结果

研究问题

• RQ1 无监督、内容驱动的聚类方法是否能在无先验标注或分类体系的情况下，揭示新闻文章中一致且分层的主题分组？
• RQ2 所提出方法在主题一致性和与商业分类服务（如Google Cloud和Open Calais）的对齐度方面表现如何？
• RQ3 该方法是否能通过时间解析的聚类特征检测出具有时间局部性的事件（如美国大选各阶段）？
• RQ4 Doc2vec嵌入与马尔可夫稳定性的结合是否能产生比传统LDA或词袋方法更具可解释性和稳定性的主题聚类？
• RQ5 所检测到的聚类在多大程度上反映了现实中的新闻主题与事件周期（如初选、大会和政治争议）？

主要发现

• 所提方法在15个聚类分区中实现了0.257的PMI主题一致性分数，优于LDA（0.144）、Open Calais（0.157）和Google Cloud（0.204）。
• 归一化互信息（NMI）得分显示，多尺度（MS）聚类与两种商业服务最为相似，15个聚类情况下与Google Cloud的NMI为0.351，与Open Calais的NMI为0.303。
• 28个聚类分区揭示了9个与2016年美国大选周期直接相关的社区，每个社区均表现出与关键事件（如初选、大会和争议）时间对齐的独立时间特征。
• 词云图与桑基图表明，该方法能够捕捉细微的主题分组（如“特朗普”、“希拉里邮件”和“竞选/投票”），其具体性高于商业API的宽泛类别。
• 该方法成功过滤出2个受包装文本特征主导的社区，证实了预处理与聚类流程的稳健性。
• 结果表明，通过图分割实现的内容驱动无监督聚类，相比标准主题建模或商业分类服务，能生成更具可解释性和一致性的主题层次结构。