[论文解读] Adaptive Representations for Tracking Breaking News on Twitter

Igor Brigadir, Derek Greene+1 more|arXiv (Cornell University)|Mar 12, 2014

Advanced Text Analysis Techniques参考文献 21被引用 11

一句话总结

本文提出了一种自适应检索框架，用于通过在滑动时间窗口的推文数据上训练的动态分布语义模型（DSM），追踪推特上的突发新闻。通过持续使用近期推文重新训练词嵌入（如 Word2Vec、随机索引），系统能够捕捉语言使用的演变，从而在自动生成的时间线中提升相关性和多样性，在16个真实世界新闻事件中，其在ROUGE和多样性指标上均优于静态模型。

ABSTRACT

Twitter is often the most up-to-date source for finding and tracking breaking news stories. Therefore, there is considerable interest in developing filters for tweet streams in order to track and summarize stories. This is a non-trivial text analytics task as tweets are short, and standard retrieval methods often fail as stories evolve over time. In this paper we examine the effectiveness of adaptive mechanisms for tracking and summarizing breaking news stories. We evaluate the effectiveness of these mechanisms on a number of recent news events for which manually curated timelines are available. Assessments based on ROUGE metrics indicate that an adaptive approaches are best suited for tracking evolving stories on Twitter.

研究动机与目标

• 为解决在推特上追踪快速演变的突发新闻所面临的挑战，其中短小、非结构化的推文以及语言使用的动态变化使得传统检索方法难以奏效。
• 开发一种自适应检索系统，以在新闻故事随时间演变时保持高召回率和相关性。
• 通过利用随数据流演变的动态词表示，生成多样化、无冗余的时间线。
• 评估自适应DSM在真实世界新闻追踪场景中相对于静态模型的有效性。
• 提供一种可扩展的自动化工具，以支持记者以最少的人工干预完成实时博客和事件时间线的编纂。

提出的方法

• 在近期推文的滑动窗口上训练分布语义模型（Word2Vec、随机索引、BM25），以适应语言随时间的变化。
• 利用学习到的词向量计算查询与推文之间的语义相似度，从而实现超越精确关键词匹配的稳健检索。
• 应用词向量的加法组合性来表示多词查询，并评估推文的相关性。
• 定期使用新推文的移动窗口重新训练模型，以捕捉演变中的词汇和语义。
• 对检索到的推文应用SumBasic摘要方法，生成简洁、时间有序的时间线。
• 使用ROUGE指标和成对余弦相似度评估结果，以衡量与人工编纂参考内容相比的召回率、多样性和冗余度。

实验结果

研究问题

• RQ1 与静态模型相比，自适应分布语义模型是否能提升在推特上突发新闻故事的检索准确性？
• RQ2 在最近推文流上持续重新训练词嵌入，如何影响生成时间线的多样性和覆盖范围？
• RQ3 自适应模型在多大程度上减少了冗余并提升了自动构建时间线的相关性？
• RQ4 在不同查询类型和故事动态下，不同DSM（如Word2Vec、随机索引）的性能表现如何比较？
• RQ5 该系统能否生成在多样性和召回率方面与人工编纂时间线相当或更优的时间线？

主要发现

• 自适应Word2Vec模型在全部16个评估的新闻事件中均取得了最高的F1分数，优于静态模型和BM25基线。
• 自适应模型生成的时间线多样性显著更高，通过成对余弦相似度衡量，得分超过1.0表明其冗余度低于人工生成的时间线。
• 在16个事件中的10个事件里，RRI（随机索引）动态模型在ROUGE-L F1分数上表现最佳，显示出在覆盖范围和连贯性方面的强大性能。
• BM25基线在多样性方面表现较差，倾向于选择更长且重复的推文，而自适应模型则检索到更多样化且相关的内容。
• 非自适应静态模型仅在稳定语境（如名人去世）下表现良好，但在突发新闻中语言演变时无法适应。
• 本研究证实，持续重新训练语义模型对于在动态、实时新闻追踪中保持高性能至关重要。