[论文解读] Cross-domain Semantic Parsing via Paraphrasing

Yu Su, Xifeng Yan|arXiv (Cornell University)|Apr 20, 2017

Topic Modeling参考文献 46被引用 12

一句话总结

本文提出了一种跨领域语义解析框架，通过将逻辑形式转化为标准自然语言表达式，将任务重新表述为释义问题。利用注意力序列到序列释义模型和标准化预训练词嵌入，该方法在低资源目标领域中显著提升了准确率，尤其在领域内训练数据稀缺时表现突出，在Overnight数据集上相比基线词嵌入方法实现了最高达10%的绝对准确率提升。

ABSTRACT

Existing studies on semantic parsing mainly focus on the in-domain setting. We formulate cross-domain semantic parsing as a domain adaptation problem: train a semantic parser on some source domains and then adapt it to the target domain. Due to the diversity of logical forms in different domains, this problem presents unique and intriguing challenges. By converting logical forms into canonical utterances in natural language, we reduce semantic parsing to paraphrasing, and develop an attentive sequence-to-sequence paraphrase model that is general and flexible to adapt to different domains. We discover two problems, small micro variance and large macro variance, of pre-trained word embeddings that hinder their direct use in neural networks, and propose standardization techniques as a remedy. On the popular Overnight dataset, which contains eight domains, we show that both cross-domain training and standardized pre-trained word embeddings can bring significant improvement.

研究动机与目标

• 解决在低资源目标领域中，由于领域内训练数据有限，难以训练有效语义解析器的挑战。
• 通过将逻辑形式转化为标准自然语言表达式，将跨领域语义解析问题简化为释义问题。
• 通过识别并解决预训练词嵌入中的问题，提升神经网络在领域自适应中的性能。
• 开发一种可泛化、灵活的框架，实现不同领域间释义知识的迁移，涵盖不同的逻辑形式和词汇。

提出的方法

• 将逻辑形式转化为标准自然语言表达式，将语义解析任务转化为释义任务。
• 训练一个注意力序列到序列模型，学习从源领域到目标领域的释义映射。
• 通过解决两个问题对预训练词嵌入进行标准化：微小的方差（影响优化）和较大的宏观方差（影响泛化）。
• 对预训练词嵌入（如word2vec）实施逐样本标准化，以提升在低资源设置下的模型稳定性和性能。
• 采用统一框架，实现跨领域对外部语言资源的一致整合。
• 在包含八个不同领域的Overnight数据集上评估模型，比较在不同领域内数据量下的性能表现。

实验结果

研究问题

• RQ1 能否通过使用标准表达式作为中间表示，将跨领域语义解析有效建模为释义任务？
• RQ2 预训练词嵌入中的问题——特别是微小的方差和较大的宏观方差——如何影响神经网络在跨领域设置下的训练？
• RQ3 对预训练词嵌入进行标准化在多大程度上能提升低资源目标领域中的语义解析准确率？
• RQ4 跨领域训练的收益如何随领域内训练数据的丰富程度而变化？

主要发现

• 所提出的基于释义的框架显著提升了跨领域语义解析性能，尤其在领域内训练数据稀缺时效果更为明显。
• 标准化的预训练词嵌入相比直接使用word2vec或先前归一化方法，准确率提升了约10%的绝对值。
• 领域内数据量与跨领域训练带来的性能增益之间存在负相关性（r = -0.770），表明在低数据环境下收益更大。
• 下采样实验表明，当领域内数据有限时，跨领域训练带来的增益最大，仅在高数据比例下性能才能接近全量数据水平。
• 该方法在Overnight数据集的全部八个领域中均实现了稳定提升，证明了其在多样化领域中的鲁棒性与可扩展性。