[论文解读] Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data

Tarek Naous, Wissam Antoun+2 more|arXiv (Cornell University)|Mar 7, 2021

Topic Modeling参考文献 30被引用 13

一句话总结

该论文提出了一种在阿拉伯语共情对话数据集上微调的 BERT2BERT 模型，通过使用 AraBERT 权重初始化编码器和解码器，以提升低资源阿拉伯语共情回复生成的效果。该模型实现了 17.0 的困惑度，并在 BLEU 指标上相比之前的工作提升了 5 个百分点，人类评估者对其共情性、相关性和流畅性的评分达到 4.3/5.0。

ABSTRACT

Enabling empathetic behavior in Arabic dialogue agents is an important aspect of building human-like conversational models. While Arabic Natural Language Processing has seen significant advances in Natural Language Understanding (NLU) with language models such as AraBERT, Natural Language Generation (NLG) remains a challenge. The shortcomings of NLG encoder-decoder models are primarily due to the lack of Arabic datasets suitable to train NLG models such as conversational agents. To overcome this issue, we propose a transformer-based encoder-decoder initialized with AraBERT parameters. By initializing the weights of the encoder and decoder with AraBERT pre-trained weights, our model was able to leverage knowledge transfer and boost performance in response generation. To enable empathy in our conversational model, we train it using the ArabicEmpatheticDialogues dataset and achieve high performance in empathetic response generation. Specifically, our model achieved a low perplexity value of 17.0 and an increase in 5 BLEU points compared to the previous state-of-the-art model. Also, our proposed model was rated highly by 85 human evaluators, validating its high capability in exhibiting empathy while generating relevant and fluent responses in open-domain settings.

研究动机与目标

• 解决阿拉伯语自然语言生成（NLG）模型在共情对话任务中性能不足的问题，尤其是在标注数据有限的情况下。
• 通过利用 AraBERT 预训练权重的迁移学习能力，应对阿拉伯语低资源设置下的挑战。
• 通过将英语 BERT2BERT 架构适配至阿拉伯语，提升开放域对话中的共情回复生成质量。
• 不仅通过自动指标评估模型性能，还通过人类评估来衡量共情性、相关性和流畅性。
• 识别模型在处理中性闲聊话语时的局限性，并提出未来工作以改进上下文感知的回复选择。

提出的方法

• 在 ArabicEmpatheticDialogues 数据集上微调基于 Transformer 的编码器-解码器模型（BERT2BERT），使用预训练的 AraBERT 权重初始化编码器和解码器。
• 通过利用 AraBERT 的上下文表征实现知识迁移，以提升低数据场景下的性能。
• 采用序列到序列训练方式，使用交叉熵损失函数优化输入话语的回复生成。
• 实施一项包含 85 名评估者的真人评估研究，以 0–5 分制评估共情性、相关性和流畅性。
• 将所提出的模型与三种基线模型进行比较：Bi-LSTM Seq2Seq 模型、在输入前添加情感标签的 Bi-LSTM 模型，以及未预训练的 Transformer 解码器。
• 分析模型在中性情绪输入上的表现，以识别其在上下文感知回复选择方面的局限性。

实验结果

研究问题

• RQ1 使用 AraBERT 权重初始化 BERT2BERT 编码器-解码器是否能显著提升低资源阿拉伯语对话系统中的共情回复生成效果？
• RQ2 与基线模型相比，该模型在自动指标（困惑度、BLEU）和人类评估得分方面表现如何？
• RQ3 该模型在保持共情性、相关性和流畅性的前提下，能在多大程度上泛化至开放域对话？
• RQ4 该模型在处理中性或非情绪性闲聊话语时存在哪些局限性？
• RQ5 从 AraBERT 进行知识迁移是否能缓解阿拉伯语 NLG 任务中的数据稀缺问题？

主要发现

• 所提出的 BERT2BERT 模型实现了 17.0 的困惑度，显著低于之前最先进模型的水平。
• 与之前最先进模型相比，该模型在 BLEU 指标上提升了 5 个百分点，表明其生成回复的质量更强。
• 人类评估者对模型在共情性、相关性和流畅性方面的评分为 4.3/5.0，表明其在人类感知上表现优异。
• 该模型在所有评估指标上均优于三种基线模型——Bi-LSTM、添加情感标签的 Bi-LSTM 和未预训练的 Transformer 解码器。
• 尽管在情绪化回复上表现优异，但该模型在处理中性闲聊输入（如“嘿，你好吗？”）时表现不佳，常会不恰当地生成共情式回复。
• 该模型在处理中性话语时的局限性表明，未来工作需关注上下文感知的回复选择与情绪感知的生成控制。