[论文解读] Microblog Retrieval for Post-Disaster Relief: Applying and Comparing Neural IR Models

Prannay Khosla, Moumita Basu+2 more|arXiv (Cornell University)|Jul 19, 2017

Topic Modeling参考文献 8被引用 14

一句话总结

本文提出并评估了用于在灾后救援行动中识别需求类推文（need-tweets）和可用性类推文（availability-tweets）的神经信息检索（IR）模型。通过结合词级嵌入与字符级嵌入，并引入注意力机制，这些模型在灾难性微博数据集上实现了最先进性能，显著优于传统模式匹配技术，同时表明预训练模型可通过极少微调即可有效迁移至新事件。

ABSTRACT

Microblogging sites like Twitter and Weibo have emerged as important sourcesof real-time information on ongoing events, including socio-political events, emergency events, and so on. For instance, during emergency events (such as earthquakes, floods, terror attacks), microblogging sites are very useful for gathering situational information in real-time. During such an event, typically only a small fraction of the microblogs (tweets) posted are relevant to the information need. Hence, it is necessary to design effective methodologies for microblog retrieval, so that the relevant tweets can be automatically extracted from large sets of documents (tweets). In this work, we apply and compare various neural network-based IR models for microblog retrieval for a specific application, as follows. In a disaster situation, one of the primary and practical challenges in coordinating the post-disaster relief operations is to know about what resources are needed and what resources are available in the disaster-affected area. Thus, in this study, we focus on extracting these two specific types of microblogs or tweets namely need tweets and avail tweets, which are tweets which define some needs of the people and the tweets which offer some solutions or aid for the people, respectively.

研究动机与目标

• 为解决在灾后救援行动中从灾难相关微博中检索相关微博（特别是需求类推文和可用性类推文）的挑战。
• 评估并对比神经IR模型与传统模式匹配方法及基于语言模型的方法在微博检索中的表现。
• 提出两种新颖的神经IR模型，通过整合词级与字符级嵌入，以提升对短文本、噪声较大的微博的语义理解能力。
• 探究在以往灾难事件上预训练的神经IR模型在新事件中复用的可能性，以实现更快速的部署。

提出的方法

• 本研究采用基于词级嵌入（如Word2vec）和字符级嵌入的神经IR模型，以捕捉短文本、噪声较大的微博中的语义与形态模式。
• 提出两种新型模型，利用双向LSTM与注意力机制，将词级与字符级嵌入进行融合，以提升表征学习效果。
• 模型在两个真实灾难数据集上进行训练与评估：2015年尼泊尔地震与2016年意大利地震。
• 通过在一种灾难数据集上预训练模型，并在另一种数据集上仅用一到五个训练周期进行微调，探索迁移学习策略。
• 采用标准信息检索指标评估性能：平均平均精度（MAP）、P@10（前10位精度）与R@1000（前1000位召回率）。
• 在部分实验中应用查询扩展，以评估其对检索效果的影响。

实验结果

研究问题

• RQ1 神经IR模型是否能在从灾难相关微博中检索需求类推文与可用性类推文方面，优于传统模式匹配技术？
• RQ2 结合词级与字符级嵌入的模型在检索性能上，相较于仅使用词级或字符级嵌入的模型表现如何？
• RQ3 在仅进行极少微调的情况下，能否有效复用在以往灾难事件上预训练的神经IR模型以应对新事件？
• RQ4 从一个灾难数据集迁移至另一个数据集是否能提升检索性能，特别是在目标数据集相关样本稀疏的情况下？

主要发现

• 结合词级与字符级嵌入的神经IR模型表现更优，其中最佳模型在未使用查询扩展的尼泊尔地震数据集上达到MAP 0.201的得分。
• 在尼泊尔地震数据集上，仅用一个训练周期微调在意大利地震数据集上预训练的模型，其在需求类推文上的MAP达到0.120，显著优于从零开始在小规模数据集上训练的模型。
• 在更具挑战性的意大利地震数据集上，从尼泊尔地震数据集预训练的模型经一个训练周期微调后，对可用性类推文的MAP达到0.044，高于任何仅在意大利地震数据集上训练的模型。
• 结果表明，基于以往事件的预训练可实现更快部署，同时保持竞争力性能，将有效微调的训练时间从约4.5小时缩短至30分钟以内。
• 本研究证实，使用预训练神经IR模型进行迁移学习是一种可行策略，尤其适用于相关数据稀疏的实时灾难微博检索场景。