[论文解读] Effectiveness of French Language Models on Abstractive Dialogue Summarization Task

Yongxin Zhou, François Portet+1 more|arXiv (Cornell University)|Jul 17, 2022

Topic Modeling被引用 6

一句话总结

该论文评估了法语专用及多语言预训练语言模型——BARThez、BelGPT-2、mBART、mBARThez 和 mT5——在法语 DECODA 电话中心语料库上的抽象对话摘要任务。结果表明，BARThez 模型取得了最先进性能，显著优于先前工作，而 mT5 和 BelGPT-2 表现较弱，凸显了针对法语口语对话进行语言特定预训练的重要性。

ABSTRACT

Pre-trained language models have established the state-of-the-art on various natural language processing tasks, including dialogue summarization, which allows the reader to quickly access key information from long conversations in meetings, interviews or phone calls. However, such dialogues are still difficult to handle with current models because the spontaneity of the language involves expressions that are rarely present in the corpora used for pre-training the language models. Moreover, the vast majority of the work accomplished in this field has been focused on English. In this work, we present a study on the summarization of spontaneous oral dialogues in French using several language specific pre-trained models: BARThez, and BelGPT-2, as well as multilingual pre-trained models: mBART, mBARThez, and mT5. Experiments were performed on the DECODA (Call Center) dialogue corpus whose task is to generate abstractive synopses from call center conversations between a caller and one or several agents depending on the situation. Results show that the BARThez models offer the best performance far above the previous state-of-the-art on DECODA. We further discuss the limits of such pre-trained models and the challenges that must be addressed for summarizing spontaneous dialogues.

研究动机与目标

• 研究法语专用及多语言预训练语言模型在法语抽象对话摘要任务中的有效性。
• 解决在预训练数据中代表性不足的非正式、自发性对话在低资源语言建模中的空白。
• 在 DECODA 法语电话中心对话摘要基准上建立新的最先进水平。
• 分析当前模型在捕捉真实口语对话中语言自发性与结构特征方面的局限性。

提出的方法

• 在 DECODA 数据集上微调多个预训练语言模型（BARThez、BelGPT-2、mBART、mBARThez 和 mT5）用于抽象摘要任务。
• 使用 DECODA 语料库，其中包含呼叫者与客服人员之间的自发性、多轮电话中心对话，参考摘要为抽象摘要。
• 应用标准自动评估指标（ROUGE）将模型输出与人工标注摘要进行比较。
• 采用标准的序列到序列训练范式，并在抽象摘要任务上进行微调。
• 根据模型架构选择模型：基于 BART 的模型（BARThez、mBART、mBARThez）和基于 GPT-2 的模型（BelGPT-2），mT5 作为密集编码器-解码器基线。
• 开展消融实验与对比研究，以分离语言特定预训练对摘要质量影响的独立作用。

实验结果

研究问题

• RQ1 法语专用预训练模型与多语言模型在法语自发性对话摘要任务中的表现如何比较？
• RQ2 预训练语料与对话特定语言之间的不匹配在多大程度上损害摘要性能？
• RQ3 在低资源、领域特定的摘要任务中，基于法语数据训练的 BART 模型是否能超越通用多语言模型？
• RQ4 为何 mT5 和 BelGPT-2 尽管在英语任务中表现强劲，但在本任务中表现不佳？
• RQ5 当前预训练模型在处理口语对话中语言自发性与非正式结构方面存在哪些关键局限性？

主要发现

• BARThez 模型在 DECODA 测试集上取得了最高的 ROUGE 分数，为法语抽象对话摘要任务确立了新的最先进水平。
• 基于 BART 的模型（BARThez、mBART、mBARThez）显著优于非 BART 模型，表明 BART 架构在此任务中的有效性。
• mT5 和 BelGPT-2 模型表现明显较弱，mT5 生成的摘要常出现不完整或偏离主题的情况。
• BARThez 模型生成的摘要更具连贯性且主题聚焦，能更准确地捕捉电话中心对话中的关键实体与意图。
• 本研究证实，语言特定预训练对于处理口语对话中常见的语言自发性与非正式表达至关重要。
• 即使使用强大的多语言模型，性能差距依然存在，主要源于预训练数据分布不匹配，尤其在法语等低资源语言的对话场景中。