[论文解读] Few-shot tweet detection in emerging disaster events

Anna Kruspe|arXiv (Cornell University)|Oct 5, 2019

Public Relations and Crisis Communication参考文献 21被引用 5

一句话总结

本文提出了一种少样本学习模型——具体为匹配网络、原型网络以及一种新颖的一元原型网络——仅使用10个或更少的标注样本，用于检测与灾难相关的推文。结果表明，在事件对所有（event-vs.-all）设置下，仅使用10个支持样本时，一元原型网络即可实现F₁分数0.9，优于先前的最先进方法，在更贴近现实的检测任务中表现更优。

ABSTRACT

Social media sources can provide crucial information in crisis situations, but discovering relevant messages is not trivial. Methods have so far focused on universal detection models for all kinds of crises or for certain crisis types (e.g. floods). Event-specific models could implement a more focused search area, but collecting data and training new models for a crisis that is already in progress is costly and may take too much time for a prompt response. As a compromise, manually collecting a small amount of example messages is feasible. Few-shot models can generalize to unseen classes with such a small handful of examples, and do not need be trained anew for each event. We compare how few-shot approaches (matching networks and prototypical networks) perform for this task. Since this is essentially a one-class problem, we also demonstrate how a modified one-class version of prototypical models can be used for this application.

研究动机与目标

• 解决在新兴危机中仅用极少标注数据检测特定事件灾难相关推文的挑战。
• 克服通用灾难检测模型依赖大规模预标注数据集的局限性。
• 开发一种系统，仅利用少量示例推文（少样本）检测全新、未见过的灾难事件。
• 在两种真实场景下评估少样本模型的性能：事件对事件和事件对所有推文分类。
• 研究一元原型网络在低数据灾难检测中的一类分类有效性。

提出的方法

• 采用少样本学习框架：匹配网络、原型网络，以及针对一类分类改进的一元原型网络。
• 在匹配网络中使用孪生神经网络，通过余弦相似度比较查询推文与支持样本。
• 应用原型网络，通过支持样本的均值嵌入计算类别原型，并利用欧氏距离对查询推文进行分类。
• 提出一种一元原型网络，将负类固定在原点，实现在无需负样本支持的情况下的一类学习。
• 在CrisisLexT26和CrisisNLP数据集上训练模型，使用1–10个样本的事件特定支持集进行微调。
• 通过F₁分数评估两种配置下的性能：事件对事件（主题重叠）和事件对所有（负类明确区分）

实验结果

研究问题

• RQ1 当仅有1–10个标注样本时，少样本模型在检测特定事件灾难相关推文方面的表现如何？
• RQ2 在主题重叠的事件对事件分类设置下，匹配网络与原型网络的性能相比如何？
• RQ3 一元原型网络能否在无需负样本支持的情况下，有效处理少样本推文检测中的一类分类？
• RQ4 更贴近现实的事件对所有设置是否比事件对事件设置获得更高的F₁分数？
• RQ5 所提出的少样本方法能否在极少标注数据条件下超越现有最先进模型在灾难推文检测中的表现？

主要发现

• 在事件对事件设置中，由于主题相似性导致类别原型重叠，原型网络的性能低于匹配网络。
• 在更贴近现实的事件对所有设置中，原型网络仅用10个支持样本即可实现F₁分数0.9，优于该任务的最先进水平。
• 一元原型网络在极少数样本（1–3个）情况下表现强劲，即使未显式提供负样本，也能保持高性能。
• 由于负样本推文分布广泛，匹配网络在事件对所有设置中泛化能力差，最近邻分类方法效果不佳。
• 当支持样本超过三个时，两元原型网络优于一元版本，表明通过三角化负类中心可提升性能。
• 结果表明，若使用人工挑选的高质量样本，性能可进一步提升，超越评估中采用的随机采样方法。