[论文解读] MJ no more: Using Concurrent Wikipedia Edit Spikes with Social Network Plausibility Checks for Breaking News Detection

Thomas Steiner, Seth van Hooland+1 more|arXiv (Cornell University)|Mar 19, 2013

Wikis in Education and Collaboration参考文献 5被引用 8

一句话总结

本文提出 Wikipedia Live Monitor，一种实时系统，通过识别多语言维基百科文章中的并发编辑高峰，随后进行跨语言社交网络搜索以验证其合理性，从而检测突发新闻。该方法在保持高敏感性的同时减少了误报，对重大全球事件的检测延迟低至5分钟。

ABSTRACT

We have developed an application called Wikipedia Live Monitor that monitors article edits on different language versions of Wikipedia, as they happen in realtime. Wikipedia articles in different languages are highly interlinked. For example, the English article en:2013_Russian_meteor_event on the topic of the February 15 meteoroid that exploded over the region of Chelyabinsk Oblast, Russia, is interlinked with the Russian article on the same topic. As we monitor multiple language versions of Wikipedia in parallel, we can exploit this fact to detect concurrent edit spikes of Wikipedia articles covering the same topics, both in only one, and in different languages. We treat such concurrent edit spikes as signals for potential breaking news events, whose plausibility we then check with full-text cross-language searches on multiple social networks. Unlike the reverse approach of monitoring social networks first, and potentially checking plausibility on Wikipedia second, the approach proposed in this paper has the advantage of being less prone to false-positive alerts, while being equally sensitive to true-positive events, however, at only a fraction of the processing cost.

研究动机与目标

• 比传统的以社交媒体为先的方法更早、更可靠地检测突发新闻事件。
• 通过使用维基百科编辑高峰作为初始触发器，减少突发新闻检测中的误报。
• 利用多语言维基百科的互链结构和实时编辑流，实现跨语言事件检测。
• 通过在社交网络上进行全文跨语言搜索，验证检测到的事件以确保其合理性。
• 构建一个可扩展的开源系统，利用维基百科作为信号源，实现低延迟、高精度的突发新闻检测。

提出的方法

• 通过IRC馈送实时监控42种语言版本的维基百科编辑流，重点关注拥有≥100,000个条目的文章。
• 将多个语言版本的关联文章中出现的并发编辑高峰识别为潜在的突发新闻候选。
• 应用突发新闻标准：同一主题的多语言文章在短时间内出现同步编辑。
• 在社交网络（如Twitter）上执行跨语言全文搜索，以验证检测到的高峰的合理性。
• 使用余弦相似度将维基百科编辑内容与社交媒体的短消息进行比较，以增强验证效果。
• 采用基于Node.js的架构，在标准消费级硬件上高效扩展至全部284个维基百科语言版本。

实验结果

研究问题

• RQ1 结合并发维基百科编辑高峰与社交网络合理性检查，是否能够捕捉到重大突发新闻事件？若能，延迟如何？
• RQ2 以维基百科为先的方法在检测真正正例方面，是否至少与以社交媒体为先的反向方法一样有效？
• RQ3 维基百科编辑相较于社交媒体，对突发新闻的反映速度如何，特别是在具有全球重要性的事件中？
• RQ4 多语言维基百科互链结构在多大程度上能提升检测准确率并减少误报？
• RQ5 当实时监控全部284个维基百科语言版本时，该系统的可扩展性如何？

主要发现

• 在圣座广播电台官方宣布本笃十六世教宗辞职后1分钟内，系统即检测到该事件，英文维基百科编辑出现在UTC时间10:58，法文维基百科则在11:00。
• 对于教宗辞职事件，系统在UTC时间11:01前报告了该事件，而路透社在10:59 UTC发布新闻，表明对全球事件的检测延迟低于5分钟。
• 该系统对高影响力全球事件的检测延迟最低可达5分钟，突发新闻的平均延迟估计为30分钟，表明维基百科编辑可能比以往认为的更快反映新闻。
• 与以社交媒体为先的方法相比，该方法减少了误报，因为仅保留了经过多语言确认且在社交网络中具有合理性的编辑高峰。
• 系统在一台标准的2010年代中期款MacBook Pro上成功扩展至监控全部284个维基百科语言版本，证明了其高效性与实时性能。
• 检测到的事件数据集和编辑日志已公开，可供进一步研究与评估。