[论文解读] Language to Logical Form with Neural Attention

Li Dong, Mirella Lapata|arXiv (Cornell University)|Jan 6, 2016

Natural Language Processing Techniques参考文献 47被引用 120

一句话总结

该论文提出了一种带注意力的编码器-解码器框架，用于语义解析，将自然语言映射到逻辑形式，包含 vanilla Seq2Seq 和分层 Seq2Tree 解码器，在四个数据集上评估，未使用手工特征。

ABSTRACT

Semantic parsing aims at mapping natural language to machine interpretable meaning representations. Traditional approaches rely on high-quality lexicons, manually-built templates, and linguistic features which are either domain- or representation-specific. In this paper we present a general method based on an attention-enhanced encoder-decoder model. We encode input utterances into vector representations, and generate their logical forms by conditioning the output sequences or trees on the encoding vectors. Experimental results on four datasets show that our approach performs competitively without using hand-engineered features and is easy to adapt across domains and meaning representations.

研究动机与目标

• 推动一种尽量减少领域特定手工设计特征的通用语义解析方法。
• 利用神经编码器-解码器架构将自然语言映射到逻辑形式。
• 探索一个分层树形解码器，以更好地捕捉组合结构。
• 引入注意力以学习输入话语与意义表示之间的软对齐。
• 通过一个参数识别预处理步骤处理稀有实体/数字。

提出的方法

• 使用两层 LSTM 编码器将输入问题令牌转换为隐藏表示。
• 实现一个解码器，既可以生成一系列令牌（Seq2Seq），也可以遍历分层树结构（Seq2Tree）以生成逻辑形式。
• 引入注意力机制，以在每个解码步骤从编码器状态计算上下文向量。
• 通过将实体和数字替换为 type-name+ID 标记来进行参数识别的预处理数据。
• 通过使用带 dropout 正则化的 RMSProp 最大化正确逻辑形式的条件似然来训练。
• 通过贪婪搜索或束搜索进行推断，以生成最可能的逻辑形式。

实验结果

研究问题

• RQ1 在没有手工设计特征的情况下，带注意力的编码器-解码器模型是否能够把自然语言映射到逻辑形式？
• RQ2 分层树解码器是否比扁平的序列解码器更好地捕捉逻辑形式的组成结构？
• RQ3 注意力在语义解析中如何影响输入话语与逻辑形式之间的对齐？
• RQ4 在具有稀有实体/数字的小型数据集上，显式参数识别是否可以提高解析准确性？
• RQ5 在不同数据集和意义表示上，所提方法在没有领域特定工程化的情况下的表现如何？

主要发现

• Seq2Tree 通常优于 Seq2Seq，尤其是在嵌套结构上，因为对组合性的显式建模。
• 注意力在 Jobs、Geo 和 Atis 数据集上提升了性能。
• 在具有大量稀有实体的小规模数据集中，参数识别至关重要。
• 所提出的模型在没有领域特定特征的前提下，与以往方法相比取得了具有竞争力或优越的结果。
• 带注意力的 Seq2Tree 在 Atis 获得第一/第二名，并在多个基准测试中取得了优异结果。