[论文解读] Coarse-to-Fine Decoding for Neural Semantic Parsing

Li Dong, Mirella Lapata|arXiv (Cornell University)|May 12, 2018

Topic Modeling参考文献 26被引用 42

一句话总结

该论文提出一个神经语义分析的两阶段粗到细解码框架：首先生成一个紧凑的意义草图，然后在草图和输入条件下填充详细令牌。

ABSTRACT

Semantic parsing aims at mapping natural language utterances into structured meaning representations. In this work, we propose a structure-aware neural architecture which decomposes the semantic parsing process into two stages. Given an input utterance, we first generate a rough sketch of its meaning, where low-level information (such as variable names and arguments) is glossed over. Then, we fill in missing details by taking into account the natural language input and the sketch itself. Experimental results on four datasets characteristic of different domains and meaning representations show that our approach consistently improves performance, achieving competitive results despite the use of relatively simple decoders.

研究动机与目标

• 以结构化意义表示来激发语义解析，并在解码过程中将高层信息与低层信息解耦。
• 引入基于草图的中间表示来引导最终解码。
• 证明利用粗略草图在不同领域与表示上均能提升解析准确性。
• 展示在四个数据集上，使用相对简单的解码器也能实现具竞争力的性能。

提出的方法

• 用双向 LSTM 编码器对自然语言输入进行编码，并使用带注意力的解码器生成粗略意义草图 a|x。
• 用双向 LSTM 对草图进行编码，并用它来引导一个细粒度解码器，为最终意义 y 填充缺失的细节。
• 将生成分解为 p(a|x) 和 p(y|x,a)，并训练以最大化 log p(y|x,a) + log p(a|x)。
• 在 Django 任务中，加入拷贝机制以在精细解码阶段通过从 x 复制来处理 OOV 令牌。
• 在 WikiSQL 中，使用对表格字段有注意力的编码器，预测 WHERE 子句草图，然后用从问题中复制的文本片段填充条件值。
• 在解码中利用父级馈送，并用预测的草图来约束输出，以提高结构保真度。

实验结果

研究问题

• RQ1 两阶段粗到细解码过程是否能比单阶段解码提升神经语义解析的性能？
• RQ2 一个紧凑、抽象的草图表示是否能够在不同的意义表示（逻辑形式、代码、SQL）上有效地引导最终的详细解码？
• RQ3 草图准确性对跨多个领域的最终意义准确性有何影响？
• RQ4 对 SQL 和代码生成任务，表格感知编码和拷贝机制如何促进性能？

主要发现

• Coarse2Fine 在 Geo 和 Atis 数据集上优于 OneStage（Geo: 88.2 vs 85.0；Atis: 87.7 vs 85.3）。
• 提供 oracle 草图带来显著提升（Geo 93.9；Atis 95.1）。
• 在 Django 中，Coarse2Fine 达到 74.1% 的准确率，超出先前最佳结果和 OneStage 基线。
• 在 WikiSQL 上，Coarse2Fine 超越 OneStage 和以往系统，准确率 71.7%，执行准确度 78.5%；草图引导的解码对 WHERE 子句的增益贡献最大。
• 在 Geo、Atis、Django、WikiSQL 中，Coarse2Fine 的草图准确性高于 OneStage（Geo 89.3；Atis 88.0；Django 77.4；WikiSQL 95.9）。
• 该框架在跨领域（逻辑形式、Python 代码、SQL）和多种意义表示上具有通用性，使用相对简单的解码器也能取得具竞争力的结果。