[论文解读] Mining Social Media for Newsgathering.

Arkaitz Zubiaga|arXiv (Cornell University)|Apr 10, 2018

Complex Network Analysis Techniques参考文献 103被引用 2

一句话总结

本文综述了用于在新闻采集中利用社交媒体的数据挖掘与自然语言处理（NLP）技术，重点关注七个关键任务——事件检测、摘要生成、新闻推荐系统、内容验证、来源查找、仪表板开发以及其他支持性任务。文章识别了计算新闻领域在实现实时、可靠新闻报道方面当前面临的挑战与未来发展方向。

ABSTRACT

Social media is becoming an increasingly important data source for learning about and tracking breaking news. This is possible thanks to mobile devices connected to the Internet, which allow anyone to post updates from anywhere, leading in turn to a growing presence of citizen journalism. Consequently, social media has become a go-to resource for journalists during newsgathering. Use of social media for newsgathering is however challenging, and suitable tools are needed in order to facilitate access to useful information for reporting. In this paper, we provide an overview of research in data mining and natural language processing for mining social media for newsgathering. We discuss seven different tasks that researchers have worked on to mitigate the challenges inherent to social media newsgathering: event detection, summarisation, news recommenders, content verification, finding information sources, development of newsgathering dashboards and other tasks. We outline the progress made so far in the field, summarise the current challenges as well as discuss future directions in the use of computational journalism to assist with social media newsgathering. This survey paper is relevant to computer scientists researching news in social media as well as for interdisciplinary researchers interested in the intersection of computer science and journalism.

研究动机与目标

• 应对由于公民新闻兴起和实时用户更新带来的挑战，即从社交媒体中提取及时、准确的新闻。
• 识别支持记者在突发新闻事件中过滤和分析海量非结构化社交媒体数据的关键计算任务。
• 全面概述应用于社交媒体新闻采集的数据挖掘与自然语言处理研究现状，突出研究空白与未来研究机遇。
• 通过将技术解决方案与新闻工作流程对应，促进计算机科学家与记者之间的跨学科合作。
• 支持开发智能工具（如仪表板和推荐系统），以提升动态网络环境中新闻采集的效率与可靠性。

提出的方法

• 调查聚焦于社交媒体新闻采集应用的数据挖掘与自然语言处理（NLP）现有研究。
• 对七个核心任务进行分类与分析：事件检测、摘要生成、新闻推荐系统、内容验证、来源识别、仪表板开发以及其他辅助任务。
• 评估文本分类、聚类和序列建模等技术在从短文本、噪声较大的社交媒体帖子中检测与摘要生成事件中的应用。
• 应用命名实体识别与情感分析等NLP方法，以验证内容并识别可信信息来源。
• 将多种数据源与信号整合到交互式新闻采集仪表板中，以支持记者的实时决策。
• 结合跨学科洞见，评估计算工具在新闻工作流程中的实际效用与局限性。

实验结果

研究问题

• RQ1 在实时新闻采集中使用社交媒体的主要挑战是什么？这些挑战如何影响新闻的准确性和效率？
• RQ2 数据挖掘与NLP技术在社交媒体上如何支持突发新闻事件的检测与追踪？
• RQ3 摘要生成与推荐系统在哪些方面可提升记者对社交媒体监控的可扩展性？
• RQ4 目前存在哪些方法可用于验证社交媒体平台上用户生成内容的可信度与真实性？
• RQ5 如何设计新闻采集仪表板与工具包，以整合多种NLP任务并支持新闻工作流程？

主要发现

• 由于移动互联网普及与公民新闻的兴起，社交媒体已成为突发新闻的关键信息来源。
• 采用NLP与聚类技术的事件检测系统能够以中等至较高精度从短文本、噪声较大的社交媒体文本中识别出新兴新闻事件。
• 结合语言线索、元数据与来源可信度启发式方法的内容验证技术，有助于在突发新闻期间减少虚假信息的传播。
• 基于用户兴趣与时间相关性的新闻推荐系统可提升记者信息发现的效率。
• 集成多种NLP任务（如摘要生成、来源检测）的交互式仪表板可增强新闻事件中的实时态势感知能力。
• 尽管已有进展，但在处理语言多样性、讽刺表达与低资源语言方面仍存在挑战，表明亟需更鲁棒且泛化能力更强的模型。