[论文解读] Civique: Using Social Media to Detect Urban Emergencies

Diptesh Kanojia, Vishwajeet Kumar+1 more|arXiv (Cornell University)|Oct 14, 2016

Public Relations and Crisis Communication参考文献 7被引用 3

一句话总结

Civique 是一个实时系统，通过分析使用自然语言处理和机器学习的地理标记 Twitter 帖文，检测城市紧急情况，如火灾、事故和地震。它以超过 90% 的 F 分数将推文分类到紧急类别，并通过网络和 Android 接口在地图上可视化事件，同时通知用户和相关部门。

ABSTRACT

We present the Civique system for emergency detection in urban areas by monitoring micro blogs like Tweets. The system detects emergency related events, and classifies them into appropriate categories like "fire", "accident", "earthquake", etc. We demonstrate our ideas by classifying Twitter posts in real time, visualizing the ongoing event on a map interface and alerting users with options to contact relevant authorities, both online and offline. We evaluate our classifiers for both the steps, i.e., emergency detection and categorization, and obtain F-scores exceeding 70% and 90%, respectively. We demonstrate Civique using a web interface and on an Android application, in realtime, and show its use for both tweet detection and visualization.

研究动机与目标

• 开发一个实时系统，从社交媒体（特别是 Twitter）检测城市紧急情况，以支持更快的应急响应。
• 使用自然语言处理和机器学习，将地理标记推文分类到特定紧急类别，如火灾、事故或地震。
• 通过交互式地图可视化检测到的紧急事件，并通过网络和移动界面通知用户和相关部门。
• 解决从社交媒体检测紧急情况时面临的挑战，如非正式语言、误报以及用户可信度问题。
• 为市政部门提供在线和离线联系方式，确保在网络中断期间也能保持响应连续性。

提出的方法

• 系统使用 Twitter 流媒体 API 接收实时 Twitter 数据流，基于预定义的紧急相关关键词列表筛选推文。
• 文本清洗流程通过基于规则和自然语言处理技术，去除噪声（如话题标签、URL、过多标点符号），并规范化拼写错误和俚语。
• 系统采用两级分类模型：首先检测推文是否与紧急情况相关，然后将其归类为具体类型，如火灾、事故或地震。
• 分类过程中，系统使用特征工程，包括一元语法、二元语法、三元语法、词性标注和命名实体识别，评估了朴素贝叶斯和支持向量机模型。
• 从清洗后的推文中提取时空数据（位置和时间），并在 Google 地图界面中可视化，以实现实时态势感知。
• 用户通过网页和 Android 应用接收通知，根据检测到的事件类型，嵌入在线联系方式和离线号码以联系相关应急部门。

实验结果

研究问题

• RQ1 对地理标记的 Twitter 帖文进行实时分析，能否有效检测城市紧急情况，如火灾、事故和地震？
• RQ2 两级机器学习流水线在多大程度上能准确分类与紧急情况相关的推文并将其分配到具体类别？
• RQ3 自然语言处理技术在多大程度上能处理社交媒体帖子中的非正式语言、拼写错误和俚语，以实现可靠的紧急检测？
• RQ4 系统如何通过用户和内容验证有效减少误报并确保警报的可信度？
• RQ5 结合网络和移动界面能否实现实时用户通知，并促进与相关应急部门的联系？

主要发现

• 紧急情况检测分类器的 F 分数超过 70%，表明在识别与紧急情况相关的推文方面表现强劲。
• 分类归类分类器的 F 分数超过 90%，表明在将检测到的紧急事件准确分配到具体类型（如火灾或事故）方面具有高度准确性。
• 系统成功在地图界面中实时可视化紧急事件，实现了对当前事件的空间感知。
• 通过网页和 Android 应用生成并发送了通知，包含相关应急部门的在线和离线联系方式。
• 词云分析确认，模型已基于语义相关的紧急关键词（如 'fire'、'earthquake'、'accident' 和 'respond'）进行训练。
• 通过结合文本清洗和机器学习，系统在处理非正式语言方面表现出稳健性，有效降低了噪声，同时未牺牲检测准确性。