[论文解读] Cross-Lingual Transfer Learning for Multilingual Task Oriented Dialog

Sebastian Schuster, Sonal Gupta+2 more|arXiv (Cornell University)|Oct 31, 2018

Topic Modeling参考文献 45被引用 16

一句话总结

本文引入了一个包含57,000条在英语、西班牙语和泰语中跨三个领域标注的多语言数据集，并评估了三种跨语言迁移方法在意图分类和槽位分类中的表现：翻译训练数据、使用跨语言静态词嵌入，以及一种新颖的方法——利用多语言机器翻译编码器生成上下文词表示。主要发现是，在低资源设置下，多语言上下文表示优于翻译数据方法，且即使目标语言数据量极少，仅用单语ELMo模型也优于所有跨语言方法。

ABSTRACT

One of the first steps in the utterance interpretation pipeline of many task-oriented conversational AI systems is to identify user intents and the corresponding slots. Since data collection for machine learning models for this task is time-consuming, it is desirable to make use of existing data in a high-resource language to train models in low-resource languages. However, development of such models has largely been hindered by the lack of multilingual training data. In this paper, we present a new data set of 57k annotated utterances in English (43k), Spanish (8.6k) and Thai (5k) across the domains weather, alarm, and reminder. We use this data set to evaluate three different cross-lingual transfer methods: (1) translating the training data, (2) using cross-lingual pre-trained embeddings, and (3) a novel method of using a multilingual machine translation encoder as contextual word representations. We find that given several hundred training examples in the the target language, the latter two methods outperform translating the training data. Further, in very low-resource settings, multilingual contextual word representations give better results than using cross-lingual static embeddings. We also compare the cross-lingual methods to using monolingual resources in the form of contextual ELMo representations and find that given just small amounts of target language data, this method outperforms all cross-lingual methods, which highlights the need for more sophisticated cross-lingual methods.

研究动机与目标

• 通过从高资源语言向低资源语言迁移学习，解决任务导向对话系统中低资源语言开发的挑战。
• 克服目前缺乏公开、一致标注的多语言意图和槽位分类数据集的问题。
• 评估并比较多种跨语言迁移策略，包括数据翻译、跨语言嵌入以及一种新颖的多语言序列编码器。
• 根据目标语言训练数据的可用性，确定最优的迁移方法。
• 发布一个新多语言数据集，以支持未来在低资源跨语言自然语言理解方面的研究。

提出的方法

• 使用统一标注方案，在三个领域（天气、闹钟、提醒）中对43,000条英语、8,600条西班牙语和5,000条泰语语句进行标注。
• 使用单语和跨语言表示，训练一个biLSTM-CRF模型以实现意图分类和槽位填充的联合预测。
• 应用三种跨语言迁移方法：(1) 将英语训练数据翻译成目标语言，(2) 使用跨语言静态词嵌入（XLU），(3) 利用多语言神经机器翻译编码器作为上下文词表示。
• 与仅在目标语言数据上训练的单语ELMo表示进行性能对比。
• 通过在高资源语言和低资源语言数据上进行联合训练，以提升零样本和少样本迁移学习性能。
• 使用标准指标在测试集上评估模型在意图分类和槽位分类上的表现。

实验结果

研究问题

• RQ1 与数据翻译相比，使用神经机器翻译编码器生成的多语言上下文词表示是否能提升低资源语言中的意图和槽位分类性能？
• RQ2 跨语言迁移方法的性能如何随可用目标语言训练数据量的变化而变化？
• RQ3 当仅提供少量目标语言数据时，多语言上下文表示是否能优于单语ELMo模型？
• RQ4 在少样本设置下，跨语言静态嵌入与端到端多语言表示相比表现如何？
• RQ5 在高资源和低资源语言数据上联合训练对模型泛化能力有何影响？

主要发现

• 在无目标语言数据的零样本设置下，将英语训练数据翻译为目标语言可获得最佳性能。
• 当目标语言训练样本达到数百个时，使用多语言上下文词表示的联合训练方法优于数据翻译和静态跨语言嵌入方法。
• 在极低资源设置下，多语言上下文表示显著优于静态跨语言嵌入。
• 仅用少量目标语言数据训练的单语ELMo表示优于所有跨语言方法，凸显了对更复杂跨语言建模方法的需求。
• 所提出的57,000条语句的多语言数据集使得在英语、西班牙语和泰语之间系统评估跨语言迁移成为可能。
• 结果表明，尽管跨语言迁移有所帮助，但只要存在有限的目标语言数据，单语预训练方法依然极为有效。