[论文解读] Learning Structured Natural Language Representations for Semantic Parsing

Jianpeng Cheng, Siva Reddy+2 more|arXiv (Cornell University)|Apr 27, 2017

Natural Language Processing Techniques参考文献 41被引用 16

一句话总结

本文提出了一种神经语义解析器，通过基于转换的系统从自然语言语句中学习结构化的谓词-论元表示，然后以可微、端到端的方式将其映射到具身化的语义表示。该模型在 Spades 和 GraphQuestions 数据集上达到了最先进性能，同时生成了可解释的、数据驱动的谓词，揭示了超越语言惯例的有用语义表示的见解。

ABSTRACT

We introduce a neural semantic parser that converts natural language utterances to intermediate representations in the form of predicate-argument structures, which are induced with a transition system and subsequently mapped to target domains. The semantic parser is trained end-to-end using annotated logical forms or their denotations. We obtain competitive results on various datasets. The induced predicate-argument structures shed light on the types of representations useful for semantic parsing and how these are different from linguistically motivated ones.

研究动机与目标

• 开发一种神经语义解析器，联合学习解析与词典归纳，以提升可解释性与泛化能力。
• 通过引入中间谓词-论元结构，解决端到端神经语义解析器缺乏可解释性的问题。
• 仅使用与逻辑形式或语义值配对的自然语言语句进行端到端训练，避免大量特征工程。
• 探究数据驱动的谓词-论元结构是否具有意义且对语义解析有用，即使其偏离语言规范。

提出的方法

• 基于转换的解析系统从语句中归纳谓词-论元结构，确保递归的、结构正确的语义表示，无需外部句法解析器或手工设计的语法。
• 解析器使用神经网络预测转换动作（例如，移位、左弧、右弧），在谓词和论元上构建类似依存结构的表示。
• 通过结构同构性假设，将未具身的谓词-论元结构映射到具身表示，使用神经映射模型完成转换。
• 整个模型通过标注的逻辑形式或语义值进行监督训练，实现解析与具身化的联合优化。
• 通过转换系统利用丰富、非局部的特征，避免对复杂结构进行特征分解。
• 采用半马尔可夫假设处理自然语言与知识库谓词之间的局部结构不匹配（例如，一对一或一对多映射）。

实验结果

研究问题

• RQ1 神经模型能否学习到可解释的、数据驱动的谓词-论元结构，从而提升语义解析性能？
• RQ2 与基于语言学动机的表示相比，所诱导的谓词-论元结构在可解释性和实用性方面表现如何？
• RQ3 未具身与具身表示之间的结构同构性假设在多大程度上限制或促进有效学习？
• RQ4 模型能否通过可重用的中间表示实现跨领域泛化并处理未见词汇？
• RQ5 模型的预测与所诱导的谓词是否与语言直觉一致，特别是在控制结构和从句等复杂结构中？

主要发现

• 该模型在 Spades 和 GraphQuestions 数据集上达到最先进性能，精确匹配和 F1 分数均优于先前方法。
• 在 GeoQuery 和 WebQuestions 上，模型获得具有竞争力的结果，展现出在多样化领域中的强大泛化能力。
• 所诱导的谓词-论元结构具有可解释性且意义明确，在并列结构和介词短语结构上与人工标注结构的匹配度较高。
• 模型识别出具有信息量的谓词（例如，'son'、'daughter'、'founded'），这些谓词并不总与语言直觉一致，例如在时间语境中选择 'son' 而非 'started'。
• 模型在控制和提升谓词上表现不佳，常因依赖局部线索而误分类，并倾向于过度依赖填空式问题中空白附近词汇。
• 评估表明，模型所诱导的谓词对解释预测结果具有帮助，揭示了模型在推理中认为重要的语义元素。