[论文解读] Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers

Fedor Vitiugin, Carlos Castillo|arXiv (Cornell University)|Apr 21, 2022

Public Relations and Crisis Communication被引用 5

一句话总结

该论文提出 CLiQS-D-CM，一种基于多语言转换器的跨语言、基于查询的多语言危机相关社交媒体抽象摘要框架。它利用 LASER 嵌入进行跨语言检索，并使用 T5 进行抽象摘要生成，从多语言危机帖子中生成高质量、连贯的英文摘要。评估结果显示，在 56–64% 的情况下，应急专家更偏好其摘要而非最先进方法，摘要在重点、结构方面表现更优，且冗余更少。

ABSTRACT

Relevant and timely information collected from social media during crises can be an invaluable resource for emergency management. However, extracting this information remains a challenging task, particularly when dealing with social media postings in multiple languages. This work proposes a cross-lingual method for retrieving and summarizing crisis-relevant information from social media postings. We describe a uniform way of expressing various information needs through structured queries and a way of creating summaries answering those information needs. The method is based on multilingual transformers embeddings. Queries are written in one of the languages supported by the embeddings, and the extracted sentences can be in any of the other languages supported. Abstractive summaries are created by transformers. The evaluation, done by crowdsourcing evaluators and emergency management experts, and carried out on collections extracted from Twitter during five large-scale disasters spanning ten languages, shows the flexibility of our approach. The generated summaries are regarded as more focused, structured, and coherent than existing state-of-the-art methods, and experts compare them favorably against summaries created by existing, state-of-the-art methods.

研究动机与目标

• 为解决在大规模灾难期间从社交媒体中提取和总结多语言危机相关信息的挑战。
• 开发一种灵活的基于查询的方法，支持多种语言的信息需求，且无需依赖语言特定资源。
• 生成抽象、连贯且无冗余的摘要，以服务于应急管理工作。
• 通过众包和应急管理人员专家评估该方法，确保其实际相关性和质量。

提出的方法

• 该方法使用一种语言（例如英语）的结构化查询，通过多语言句子嵌入（LASER）检索多种语言的危机相关社交媒体帖子。
• 利用自然语言处理技术对相关消息进行聚类和多样化处理，以减少冗余并提升信息覆盖度。
• 使用在危机相关内容上微调过的 T5 转换器模型生成抽象摘要。
• 该系统支持跨语言摘要：查询使用一种语言，但提取的句子和摘要可为任何支持的语言。
• 句子嵌入（LASER）支持在 93 种语言之间实现零样本跨语言匹配，词性标注和依存句法分析则限于 50 种语言。
• 该方法模块化且可扩展，可与其他平台（如 Facebook、Reddit）集成，并支持未来实现多语言查询和地理定位感知摘要。

Figure 1: Overview of our cross-lingual information summarization framework.

实验结果

研究问题

• RQ1 基于查询的跨语言方法是否能有效利用多语言嵌入在多种语言中检索危机相关社交媒体内容？
• RQ2 与最先进方法相比，T5 生成的抽象摘要在连贯性、重点聚焦和信息量方面表现如何？
• RQ3 应急管理人员是否更偏好该方法生成的摘要，而非现有最先进系统生成的摘要？
• RQ4 该方法在多大程度上减少了冗余并提升了危机摘要的信息密度？
• RQ5 性能在不同灾难事件和语言之间如何变化，特别是在低资源或多语言情境下？

主要发现

• 在 63.6% 的情况下，应急管理人员更偏好 CLiQS-D-CM 生成的摘要，而非 Nafi 方法；在 55.8% 的情况下，更偏好其摘要而非 LSTM+LASER+T5 方法。
• 专家表示，CLiQS-D-CM 生成的摘要更准确、组织性更强、重复更少，且事实性错误更少。
• 该方法在连贯性和重点聚焦方面表现更优，评估者指出其结构和清晰度优于基线方法。
• 在萨格勒布地震事件中性能较低，表明在低资源或覆盖不足的语言情境下可能存在挑战。
• 众包评估确认，与现有方法相比，CLiQS-D-CM 生成的摘要在信息量、结构和可读性方面评分更高。
• 该系统展现出强大的跨语言泛化能力，成功对五次重大灾难中涉及的十种语言内容进行了摘要。

Figure 2: Combining the transformer embeddings with morphological, syntactic, message-specific features and query similarity features using deep MLP