[论文解读] Cross-Language Domain Adaptation for Classifying Crisis-Related Short Messages

Muhammad Imran, Prasenjit Mitra+1 more|arXiv (Cornell University)|Feb 17, 2016

Public Relations and Crisis Communication参考文献 19被引用 21

一句话总结

本文研究了利用过去灾难事件的标注数据，对跨语言领域适应下的危机相关短消息分类问题。提出利用类似事件或相关语言的过去标注推文来提升分类性能，结果表明：当灾难类型相同或语言相似（如意大利语与西班牙语）时，模型准确率显著提升；而当语言不相似（如意大利语与英语）时，性能则下降。

ABSTRACT

Rapid crisis response requires real-time analysis of messages. After a disaster happens, volunteers attempt to classify tweets to determine needs, e.g., supplies, infrastructure damage, etc. Given labeled data, supervised machine learning can help classify these messages. Scarcity of labeled data causes poor performance in machine training. Can we reuse old tweets to train classifiers? How can we choose labeled tweets for training? Specifically, we study the usefulness of labeled data of past events. Do labeled tweets in different language help? We observe the performance of our classifiers trained using different combinations of training sets obtained from past disasters. We perform extensive experimentation on real crisis datasets and show that the past labels are useful when both source and target events are of the same type (e.g. both earthquakes). For similar languages (e.g., Italian and Spanish), cross-language domain adaptation was useful, however, when for different languages (e.g., Italian and English), the performance decreased.

研究动机与目标

• 评估复用过去灾难事件中已标注的危机推文用于训练分类器的有效性。
• 探究使用一种语言的标注数据来训练另一种语言模型的跨语言迁移是否能提升分类性能。
• 识别在低资源危机场景下，过去已标注数据如何提升模型准确率的条件。
• 确定源领域与目标领域语言相似性是否影响迁移性能。

提出的方法

• 本研究使用基于过去事件已标注危机推文训练的监督式机器学习分类器。
• 通过使用以往灾难事件的已标注数据作为新危机事件的训练数据，应用跨领域与跨语言迁移学习。
• 该方法评估了不同源领域组合的性能，包括相同类型的灾难（如两次地震）以及不同语言对（如意大利语与英语）。
• 实验基于真实危机数据集进行，性能通过标准分类指标（如F1-score）进行衡量。
• 通过使用多语言训练数据，隐式利用了语言特定嵌入与多语言迁移技术。
• 在受控环境下评估模型，以隔离领域相似性与语言相似性的影响。

实验结果

研究问题

• RQ1 过去灾难事件的已标注数据能否提升新危机事件分类器的性能？
• RQ2 使用其他语言的已标注数据进行跨语言迁移，是否比仅在单一语言上训练获得更好的性能？
• RQ3 源灾难类型与目标灾难类型之间的相似性如何影响迁移性能？
• RQ4 源语言与目标语言之间的语言相似性如何影响分类准确率？
• RQ5 在何种条件下，跨语言领域自适应会失败或成功？

主要发现

• 使用相同类型灾难（如两次地震）的过去灾难已标注数据，能显著提升分类器性能，证明了有效的领域迁移。
• 当源语言与目标语言相似（如意大利语与西班牙语）时，跨语言迁移有效，F1得分得到提升。
• 在语言不相似的情况下（如意大利语与英语）性能下降，表明此类情况下的跨语言迁移能力有限。
• 研究结果表明，在危机文本分类中，领域相似性比语言相似性对成功迁移学习更为关键。
• 结果证实，复用过去事件的已标注数据是低资源危机响应场景下的可行策略，尤其在领域对齐时效果更佳。