[论文解读] AllWOZ: Towards Multilingual Task-Oriented Dialog Systems for All

Lei Zuo, Kun Qian+2 more|arXiv (Cornell University)|Dec 15, 2021

Topic Modeling被引用 11

一句话总结

本文介绍了 AllWOZ，一个涵盖八种语言（英语、中文、韩语、越南语、印地语、法语、葡萄牙语和泰语）的多语言任务导向对话数据集，通过高质量机器翻译与人工后编辑精心构建。结果表明，结合 mT5 的元学习与少样本微调可显著提升跨语言的零样本与少样本性能，尤其在利用共享语言结构时，其表现优于标准预训练方法，尤其在泰语和葡萄牙语等低资源语言上表现更优。

ABSTRACT

A commonly observed problem of the state-of-the-art natural language technologies, such as Amazon Alexa and Apple Siri, is that their services do not extend to most developing countries' citizens due to language barriers. Such populations suffer due to the lack of available resources in their languages to build NLP products. This paper presents AllWOZ, a multilingual multi-domain task-oriented customer service dialog dataset covering eight languages: English, Mandarin, Korean, Vietnamese, Hindi, French, Portuguese, and Thai. Furthermore, we create a benchmark for our multilingual dataset by applying mT5 with meta-learning.

研究动机与目标

• 为解决低资源语言，特别是发展中国家的多语言任务导向对话数据集匮乏的问题。
• 克服部署 NLP 技术（如虚拟助手）时的语言障碍，目前这些技术仍排除了全球 94% 的人口。
• 开发一种能通过共享语言结构在多种语言间泛化的多语言对话系统。
• 利用元学习构建一个用于多语言对话系统少样本与零样本学习的基准。
• 通过构建高质量、多语言的数据集，提升 NLP 技术在客服应用中的可及性。

提出的方法

• 作者从 MultiWOZ 2.2 中收集了 100 个对话，保留了领域与槽位分布，以确保代表性。
• 使用 Google Translate 将数据初步翻译为八种目标语言，随后由母语者进行人工后编辑，以确保语言流畅性与实体一致性。
• 应用基于 mT5 的元学习框架对模型在多种语言间进行微调，以实现对低资源环境的适应。
• 该方法利用语言间的共享语言结构，以提升零样本与少样本泛化能力。
• 基准测试评估了三种模型：原始微调、基于英语预训练的微调，以及联合优化多种语言的元学习方法（DAML）。
• 训练方案采用少样本适应，即模型在小规模并行多语言对话数据集上进行微调，以提升跨语言迁移能力。

实验结果

研究问题

• RQ1 能否通过机器翻译与人工后编辑有效构建低资源语言的多语言对话数据集？
• RQ2 与标准微调相比，使用 mT5 的元学习是否能提升多语言任务导向对话系统在少样本设置下的性能？
• RQ3 在英语数据上进行预训练是否能有效将知识迁移至低资源语言（如泰语和葡萄牙语）？
• RQ4 DAML 元学习方法在零样本与少样本泛化方面，与标准预训练和原始微调相比表现如何？
• RQ5 语言间的共享语言结构在多大程度上能提升低资源环境下的模型性能？

主要发现

• 在英语 MultiWOZ 数据上进行预训练，使 7 种语言的 BLEU 分数提升，6 种语言的槽位准确率提高，表明英语对话知识具有可迁移性。
• DAML 元学习方法在泰语和葡萄牙语上的表现优于原始微调与英语预训练方法，在少样本设置下取得了更高的 BLEU 分数与槽位准确率。
• 对于泰语，'原始微调 + 英语预训练'设置的表现甚至低于原始模型，表明泰语与英语之间的结构差异阻碍了知识迁移。
• DAML 模型使 6 种语言的 BLEU 分数提升，5 种语言的槽位准确率提高，证明了多语言联合学习的有效性。
• 平均而言，DAML 模型在所有语言上实现了 13.59 的 BLEU 分数、27.13% 的信息率、5.25% 的槽位准确率与 71.96% 的成功率，优于原始模型与预训练基线。
• 结果证实，通过元学习利用共享语言结构能显著增强少样本泛化能力，尤其在低资源设置下效果更明显。