[论文解读] Exploiting Rich Syntactic Information for Semantic Parsing with Graph-to-Sequence Model

Kun Xu, Lingfei Wu+4 more|arXiv (Cornell University)|Aug 23, 2018

Topic Modeling参考文献 24被引用 24

一句话总结

该论文提出了一种图到序列的模型，通过将丰富的句法信息——词序、依存关系和短语结构——统一编码为句法图，以提升语义解析性能。该模型利用图编码器聚合多跳邻域信息，并通过注意力机制在节点嵌入上进行序列解码，从而在基准数据集上取得最先进性能，并在对抗性样本上表现出更优的鲁棒性，尤其在结合全部三种句法特征时效果更显著。

ABSTRACT

Existing neural semantic parsers mainly utilize a sequence encoder, i.e., a sequential LSTM, to extract word order features while neglecting other valuable syntactic information such as dependency graph or constituent trees. In this paper, we first propose to use the extit{syntactic graph} to represent three types of syntactic information, i.e., word order, dependency and constituency features. We further employ a graph-to-sequence model to encode the syntactic graph and decode a logical form. Experimental results on benchmark datasets show that our model is comparable to the state-of-the-art on Jobs640, ATIS and Geo880. Experimental results on adversarial examples demonstrate the robustness of the model is also improved by encoding more syntactic information.

研究动机与目标

• 解决现有神经语义解析器仅依赖顺序LSTM编码器、忽视丰富句法结构的局限性。
• 探究结合多种句法特征（词序、依存、短语结构）是否能提升语义解析性能与鲁棒性。
• 设计一种统一的句法图表示，将多样化的句法信息整合为单一结构化输入，供神经网络模型使用。
• 评估模型在对抗性扰动（如词语互换与改写）下的鲁棒性，此类扰动会破坏表层词序。

提出的方法

• 构建一个句法图，通过词节点的双向链表示词序，通过内容词之间的有向标签边表示依存关系，通过非终结符短语节点及其层次关系表示短语结构。
• 采用基于消息传递的图编码器，通过聚合K跳邻居的特征计算节点表示，再通过池化机制生成全局图嵌入。
• 使用带有注意力机制的序列解码器，逐 token 地关注句法图中的节点嵌入，以生成逻辑形式。
• 将依存标签和短语树标签视为具有文本属性的独立节点，以保留结构语义，同时不改变核心图结构。
• 使用标准序列到序列目标，基于基准数据集中的（文本，逻辑形式）配对，采用交叉熵损失进行训练。
• 通过准确率下降程度衡量稳定性，在两类对抗性样本上评估鲁棒性：词语互换句子与改写查询。

实验结果

研究问题

• RQ1 与仅使用顺序特征的模型相比，整合词序、依存和短语结构等多种句法信息是否能提升语义解析准确率？
• RQ2 句法结构的引入在词语重排或改写等对抗性扰动下，是否能提升模型鲁棒性？
• RQ3 一种编码异构句法结构的图到序列架构，是否在语义解析任务中优于标准的序列编码器？
• RQ4 在分布外变化（如改写或噪声输入）下，哪种句法特征对鲁棒性贡献最大？

主要发现

• 所提模型在标准基准测试中表现优异，在Jobs640、ATIS和Geo880数据集上达到或超过最先进结果。
• 在词语互换的对抗性样本中，使用全部三种句法特征的模型保持最高准确率，当互换5个词时，相比仅使用词序的模型，性能差距达2.5%。
• 仅使用词序特征的模型在改写输入上的准确率下降最大（6.1%），而完整模型仅下降2.5%，表明句法结构提升了鲁棒性。
• 依存和短语结构特征比仅使用词序特征更能提升鲁棒性，体现在词语互换与改写攻击下准确率下降更小。
• 三种句法特征的组合在所有对抗性设置下均表现出最稳定的性能，证实结构信息能增强泛化能力。
• 在ATIS原始开发集上，使用全部三种特征的模型准确率达到86.0%，优于仅使用一种或两种特征的模型。