[论文解读] CrisisSense-LLM: Instruction Fine-Tuned Large Language Model for Multi-label Social Media Text Classification in Disaster Informatics

Kai Yin, Li, Bo+3 more|arXiv (Cornell University)|Jun 16, 2024

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出 CrisisSense-LLM，一种针对灾难相关社交媒体内容的多标签分类微调大语言模型。通过在精心筛选的灾难推文数据集上进行指令微调，该模型能够同时有效分类多个方面（如事件类型、信息量和援助参与度），显著提升灾难响应场景中的态势感知能力。

ABSTRACT

In the field of crisis/disaster informatics, social media is increasingly being used for improving situational awareness to inform response and relief efforts. Efficient and accurate text classification tools have been a focal area of investigation in crisis informatics. However, current methods mostly rely on single-label text classification models, which fails to capture different insights embedded in dynamic and multifaceted disaster-related social media data. This study introduces a novel approach to disaster text classification by enhancing a pre-trained Large Language Model (LLM) through instruction fine-tuning targeted for multi-label classification of disaster-related tweets. Our methodology involves creating a comprehensive instruction dataset from disaster-related tweets, which is then used to fine-tune an open-source LLM, thereby embedding it with disaster-specific knowledge. This fine-tuned model can classify multiple aspects of disaster-related information simultaneously, such as the type of event, informativeness, and involvement of human aid, significantly improving the utility of social media data for situational awareness in disasters. The results demonstrate that this approach enhances the categorization of critical information from social media posts, thereby facilitating a more effective deployment for situational awareness during emergencies. This research paves the way for more advanced, adaptable, and robust disaster management tools, leveraging the capabilities of LLMs to improve real-time situational awareness and response strategies in disaster scenarios.

研究动机与目标

• 解决单标签分类模型在捕捉灾难相关社交媒体内容多维特性方面的局限性。
• 通过同时从社交媒体文本中分类多个灾难相关标签，提升灾难发生期间的态势感知能力。
• 开发一种通过指令微调整合灾难特定知识的领域专用大语言模型。
• 通过实现准确的多方面分类，提升社交媒体数据在应急响应和救援行动中的实用性。
• 构建一个可扩展且可适应的框架，用于利用大语言模型实现实时灾难信息学应用。

提出的方法

• 从标注有多个标签（如事件类型、信息量、援助参与度）的灾难推文中构建全面的指令数据集。
• 通过指令微调方法对开源大语言模型进行微调，使其输出与多标签分类任务对齐。
• 采用提示工程策略，构建结构化输入提示，引导模型对每条输入推文预测多个标签。
• 使用零样本和少样本提示基线，与微调后的模型进行性能对比。
• 采用标准评估指标（如微F1、宏F1）评估多标签分类性能。
• 通过在训练数据中引入多样化的灾难场景和语言变体，确保模型的鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 与零样本或少样本提示相比，指令微调是否能显著提升灾难相关社交媒体文本的多标签分类性能？
• RQ2 微调后的大型语言模型在多大程度上能够同时捕捉多个灾难相关方面（如事件类型、信息质量、援助参与度）？
• RQ3 在灾难信息学中，指令微调后的大型语言模型与传统单标签分类模型相比，性能如何？
• RQ4 领域特定的指令微调对模型在多样化灾难情境下泛化能力的影响如何？
• RQ5 微调后的模型是否能通过从非结构化社交媒体内容中提取结构化、多维度洞察，有效支持应急响应中的实时态势感知？

主要发现

• 指令微调后的 CrisisSense-LLM 在多标签灾难文本分类任务中表现优异，其微F1和宏F1得分均优于零样本和少样本基线模型。
• 由于指令微调的适应性，该模型在包括自然灾害和人为危机在内的多种灾难类型中均表现出强大的泛化能力。
• CrisisSense-LLM 实现的多标签分类，相比单标签模型，能从社交媒体帖子中捕捉更广泛的可操作洞察。
• 微调后的模型在一次推理过程中即可有效识别关键信息，如事件类型、严重程度指标和援助相关内容。
• 领域特定指令数据的整合显著增强了模型理解与分类复杂灾难相关文本的能力。
• 源代码和数据公开可用，支持灾难信息学应用中的可复现性与进一步开发。