[论文解读] Event Detection and Retrieval on Social Media

Manos Schinas, Symeon Papadopoulos+2 more|arXiv (Cornell University)|Jul 10, 2018

Web Data Mining and Analysis参考文献 54被引用 4

一句话总结

本文全面综述了社交媒体中事件检测与检索方法，重点聚焦于基于特征的枢纽方法、基于文档的枢纽方法以及主题建模方法，旨在从多模态数据流中识别现实世界事件。文章强调了多模态特征表示、语义相似性、聚类和内容排序等关键组件，并指出了关键挑战，包括缺乏公开的评估数据集以及跨平台一致性问题。

ABSTRACT

In the recent years, we have witnessed the rapid adoption of social media platforms, such as Twitter, Facebook and YouTube, and their use as part of the everyday life of billions of people worldwide. Given the habit of people to use these platforms to share thoughts, daily activities and experiences it is not surprising that the amount of user generated content has reached unprecedented levels, with a substantial part of that content being related to real-world events, i.e. actions or occurrences taking place at a certain time and location. Given the key role of events in our life, the task of annotating and organizing social media content around them is of crucial importance for ensuring real-time and future access to multimedia content about an event of interest. In this chapter, we present several research efforts from recent years that tackle two main problems: a) event detection and b) event-based media retrieval and summarization. Given archived collections or live streams of social media items, the purpose of event detection methods is to identify previously unknown events in the form of sets of items that describe them. In general, the events could be of any type, but there are also approaches aiming at events of specific type. Given a target event the goal of event summarization is first to identify relevant content and then to represent it in a concise way, selecting the most appealing and representative content.

研究动机与目标

• 为应对从Twitter、Flickr、YouTube等平台的大规模、嘈杂的社交媒体内容中检测现实世界事件的挑战。
• 实现实时或从档案中组织和检索与特定事件相关的多媒体内容（图像、视频、文本）。
• 开发稳健的事件检测与摘要方法，以处理多模态数据和不一致的元数据。
• 识别关键的方法论组件，如特征表示、相似性计算、聚类和内容排序，以实现有效的系统设计。
• 强调公开评估数据集的稀缺性，并指出需要建立跨平台、持久的基准以支持对比研究。

提出的方法

• 采用特征-枢纽方法，通过检测视觉或文本特征（如词语、标签）的异常频率突增来识别新兴事件。
• 使用基于文档的聚类方法，结合相似性度量（如余弦相似度、Jaccard系数）将相关多媒体项目聚类为事件群组。
• 应用主题建模技术（如LDA）从社交媒体流的文本和元数据中发现潜在的事件主题。
• 整合多模态特征，包括词袋模型、视觉词袋模型以及深度学习特征（如CNN嵌入），以提升表示效果。
• 利用聚类算法（如k-means、DBSCAN、谱聚类）将项目分配至特定事件组，部分方法支持噪声处理的可选聚类策略。
• 采用内容排序模型，优先考虑相关性、多样性与质量，以有效总结事件，同时具备个性化与可信度评估的潜力。

实验结果

研究问题

• RQ1 如何利用多模态数据在大规模、嘈杂的社交媒体流中自动检测现实世界事件？
• RQ2 哪些最有效的特征表示与相似性度量可用于将多媒体项目聚类为连贯的事件群组？
• RQ3 不同的聚类策略（如划分聚类与选择性聚类）如何影响事件检测性能？
• RQ4 语义与学习得到的相似性模型在提升事件检测与检索准确性方面发挥何种作用？
• RQ5 事件检测与检索系统评估面临的主要挑战是什么？如何构建公开、持久且跨平台的数据集？

主要发现

• 特征-枢纽方法通过识别特征频率的异常突增（如话题标签或视觉词）来检测事件，反映突发的现实事件发生。
• 基于文档的聚类方法结合余弦或Jaccard相似度能有效聚合相关内容，尤其在引入命名实体与标签后效果更佳。
• 主题建模方法（如LDA）有助于从文本内容中揭示潜在的事件主题，从而提升在Twitter等文本密集型平台中的检测效果。
• 深度学习特征（如CNN嵌入）在视觉内容表示方面变得日益重要，许多情况下已超越传统BoVW方法。
• 缺乏公开、持久且跨平台的评估数据集仍是主要瓶颈，此类数据集通常需要大量人工工作，且易受内容衰减影响。
• 尽管对用户相关性至关重要，现有研究在个性化、可信度评估与美学质量方面仍存在显著空白，尤其在事件摘要中。