[论文解读] Transfer Learning for Neural Semantic Parsing

Xing Fan, Emilio Monti+2 more|arXiv (Cornell University)|Jun 14, 2017

Topic Modeling参考文献 24被引用 12

一句话总结

本文提出了一种用于神经语义解析的多任务序列到序列框架，通过利用具有大量标注数据的辅助任务进行迁移学习，以提升低资源语义解析任务的性能。通过在任务之间共享编码器、解码器和注意力参数——尤其是将句法解析或另一种语义形式化作为辅助任务——该方法在内部数据上实现了1.0%–4.4%的绝对准确率提升，在ATIS上最高达到7.0%的提升，表明跨形式化的共享表征能显著增强泛化能力和模型性能。

ABSTRACT

The goal of semantic parsing is to map natural language to a machine interpretable meaning representation language (MRL). One of the constraints that limits full exploration of deep learning technologies for semantic parsing is the lack of sufficient annotation training data. In this paper, we propose using sequence-to-sequence in a multi-task setup for semantic parsing with a focus on transfer learning. We explore three multi-task architectures for sequence-to-sequence modeling and compare their performance with an independently trained model. Our experiments show that the multi-task setup aids transfer learning from an auxiliary task with large labeled data to a target task with smaller labeled data. We see absolute accuracy gains ranging from 1.0% to 4.4% in our in- house data set, and we also see good gains ranging from 2.5% to 7.0% on the ATIS semantic parsing tasks with syntactic and semantic auxiliary tasks.

研究动机与目标

• 为解决语义解析中标注训练数据有限的问题，特别是针对低资源形式化语言。
• 探究通过多任务序列到序列建模进行迁移学习是否能提升小规模标注数据集上的目标语义解析任务性能。
• 评估不同参数共享策略（如一对多、一对一、一对多共享）在语义解析多任务学习中的有效性。
• 探索将句法解析等辅助任务是否能提供有意义的归纳偏置以提升语义解析性能。
• 证明在不同语义形式化之间共享表征可增强模型泛化能力并降低对数据的依赖。

提出的方法

• 本文采用在多个任务（包括语义解析和句法解析）之间共享参数的序列到序列编码器-解码器架构。
• 探索了三种多任务架构：一对多（共享编码器，独立解码器）、一对一（共享编码器和解码器）以及一对多共享（共享编码器、共享解码器和共享注意力）。
• 模型使用门控循环单元（GRUs）结合注意力机制，从自然语言输入生成意义表示。
• 通过在目标语义解析任务和一个或多个具有丰富标注数据的辅助任务上进行联合训练，应用迁移学习。
• 学习率、dropout和批量大小等超参数根据每个任务单独调优，并在多任务训练期间增加模型容量。
• 后处理包括大括号配对和重复项去除，以提升评估中的表示匹配度。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，使用共享序列到序列组件的多任务学习是否能提升语义解析准确率？
• RQ2 将句法解析任务作为辅助任务是否能显著提升语义解析性能？
• RQ3 不同的参数共享策略（如共享编码器、共享注意力）如何影响模型性能和训练效率？
• RQ4 从大规模语义形式化（如EviMRL）进行迁移学习是否能提升在较小目标语义形式化上的性能？
• RQ5 在不同语义形式化之间共享表征在多大程度上能增强神经语义解析中的泛化能力？

主要发现

• 一对多共享架构（即在任务之间共享编码器、解码器和注意力机制）表现最佳，相比一对多设置，参数量减少了15%。
• 在包含10k–200k个训练样本的内部数据集上，多任务模型相比独立基线模型实现了1.0%至4.4%的绝对准确率提升。
• 在ATIS基准上，使用WSJ成分句法解析作为辅助任务，将准确率从77.2%提升至79.7%，实现了2.5%的相对提升。
• 当额外引入EviMRL数据（超过100万条实例）作为第三个辅助任务时，ATIS准确率提升至84.2%，达到当前最先进水平。
• 当同时结合句法和语义辅助任务时，ATIS上的准确率实现了7.0%的相对提升，证明了多任务迁移学习的有效性。
• 即使在EviMRL任务中，与ATIS任务联合训练也实现了1.3%的绝对准确率提升，支持了跨形式化数据共享可提升泛化能力的假设。