[论文解读] Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing

Xilun Chen, Asish Ghoshal+3 more|arXiv (Cornell University)|Oct 7, 2020

Topic Modeling参考文献 31被引用 5

一句话总结

本文提出了一种基于BART预训练和基于优化的元学习（Reptile）的低资源领域自适应方法，用于组合式任务导向语义解析，在仅使用监督基线模型十分之一训练数据的情况下实现了最先进性能。该方法在包含8个领域、超过180k个样本的新多领域数据集TOPv2上显著优于现有方法。

ABSTRACT

Task-oriented semantic parsing is a critical component of virtual assistants, which is responsible for understanding the user's intents (set reminder, play music, etc.). Recent advances in deep learning have enabled several approaches to successfully parse more complex queries (Gupta et al., 2018; Rongali et al.,2020), but these models require a large amount of annotated training data to parse queries on new domains (e.g. reminder, music). In this paper, we focus on adapting task-oriented semantic parsers to low-resource domains, and propose a novel method that outperforms a supervised neural model at a 10-fold data reduction. In particular, we identify two fundamental factors for low-resource domain adaptation: better representation learning and better training techniques. Our representation learning uses BART (Lewis et al., 2019) to initialize our model which outperforms encoder-only pre-trained representations used in previous work. Furthermore, we train with optimization-based meta-learning (Finn et al., 2017) to improve generalization to low-resource domains. This approach significantly outperforms all baseline methods in the experiments on a newly collected multi-domain task-oriented semantic parsing dataset (TOPv2), which we release to the public.

研究动机与目标

• 解决在仅含极少标注数据的低资源领域中训练有效任务导向语义解析器的挑战。
• 通过增强表示学习和训练技术，提升低资源设置下的泛化能力。
• 开发一种方法，在仅使用十分之一训练数据的情况下超越监督模型。
• 收集并发布一个大规模多领域数据集（TOPv2），用于评估组合式语义解析中的低资源领域自适应。

提出的方法

• 使用BART（一种预训练编码器-解码器Transformer）初始化语义解析器的编码器和解码器，相较于仅使用编码器的模型（如RoBERTa），可提升表示学习效果。
• 采用Reptile（一种基于一阶优化的元学习算法），学习一个能良好泛化至新目标领域的模型初始化。
• 在源领域上使用标准微调策略进行训练，包含学习率预热和早停机制。
• 采用元学习策略，每个任务的支撑集为5个样本，批量大小为32，内层和外层分别使用5×10⁻⁵的学习率。
• 采用序列到序列架构，并引入复制指针机制，以处理语义解析中的罕见或未登录词（OOV）。
• 在目标领域上对元学习得到的模型进行微调，每个意图或槽位最多使用25个标注样本。

实验结果

研究问题

• RQ1 相较于仅使用编码器的模型（如RoBERTa），使用类似BART的预训练序列到序列模型是否能提升组合式任务导向语义解析在低资源领域的自适应性能？
• RQ2 基于优化的元学习是否能增强语义解析在低资源目标领域的泛化能力？
• RQ3 当仅使用十分之一的训练数据时，所提方法与监督基线相比表现如何？
• RQ4 在每个意图或槽位仅使用25个训练样本的情况下，该方法是否能实现具有竞争力的性能？

主要发现

• 在低数据设置下，所提方法显著优于所有基线模型，尤其在每个意图或槽位仅有25个样本时表现更优。
• 使用BART进行模型初始化在低资源设置下显著优于RoBERTa及其他仅使用编码器的模型。
• 通过Reptile进行元学习，可实现对新领域更快速、更有效的适应，且仅需极少标注数据。
• 即使仅使用十分之一的训练数据，该模型性能仍可与最先进的监督LSTM指针生成网络相媲美。
• 包含8个领域、超过180k个标注样本的TOPv2数据集，为低资源自适应方法的稳健评估提供了支持。