[论文解读] Learning Dependency-Based Compositional Semantics

Percy Liang, Michael I. Jordan+1 more|arXiv (Cornell University)|Sep 30, 2011

Topic Modeling参考文献 41被引用 87

一句话总结

本文提出依赖关系组合语义（DCS），一种用于语义解析的新形式化方法，可在无需标注逻辑形式的情况下，仅从问题-答案对中进行学习。通过将逻辑形式建模为隐变量，并使用带束搜索和优化的对数线性分布，该系统在语义解析基准上实现了最先进性能，尽管在逻辑形式上没有监督信号。

ABSTRACT

Suppose we want to build a system that answers a natural language question by representing its semantics as a logical form and computing the answer given a structured database of facts. The core part of such a system is the semantic parser that maps questions to logical forms. Semantic parsers are typically trained from examples of questions annotated with their target logical forms, but this type of annotation is expensive. Our goal is to learn a semantic parser from question-answer pairs instead, where the logical form is modeled as a latent variable. Motivated by this challenging learning problem, we develop a new semantic formalism, dependency-based compositional semantics (DCS), which has favorable linguistic, statistical, and computational properties. We define a log-linear distribution over DCS logical forms and estimate the parameters using a simple procedure that alternates between beam search and numerical optimization. On two standard semantic parsing benchmarks, our system outperforms all existing state-of-the-art systems, despite using no annotated logical forms.

研究动机与目标

• 开发一种可从问题-答案对中学习而非昂贵的标注逻辑形式的语义解析器。
• 解决在弱监督下语义解析中的程序归纳挑战。
• 设计一种具备强大语言学、统计学和计算特性的语义形式化方法，以支持可扩展学习。
• 在逻辑形式标注不切实际的低资源场景下，实现准确的语义解析。
• 弥合组合语义与自然语言处理中可扩展、数据高效学习之间的差距。

提出的方法

• 提出依赖关系组合语义（DCS），一种形式化方法，其中逻辑形式以带标签的依存树表示，从而实现组合性与语言学上的合理性。
• 使用由向量 θ 参数化的对数线性模型来建模 DCS 逻辑形式的分布，该向量捕捉不同逻辑形式的基于特征的偏好。
• 采用迭代学习过程，交替进行候选逻辑形式的束搜索与模型参数 θ 的数值优化，以最大化正确答案的可能性。
• 将逻辑形式 z 视为隐变量，在训练期间通过与 θ 的联合优化进行推断，仅使用观测到的问题-答案对和结构化世界/数据库 w。
• 利用世界结构（如事实数据库）来约束并引导有效逻辑形式的搜索，提高统计效率。
• 使用判别性评分函数在世界 w 上评估候选逻辑形式 z，生成答案 y = [z]_w，并与真实答案 y 对比以指导学习。

实验结果

研究问题

• RQ1 能否仅依赖问题-答案对而无需标注逻辑形式，有效训练语义解析器？
• RQ2 何种逻辑形式化方法既能保证语言学合理性，又能在弱监督下实现高效推理？
• RQ3 如何从通过答案获得的间接监督中有效推导出隐式逻辑形式？
• RQ4 在无黄金逻辑形式的情况下，对数线性模型结合束搜索与优化能否实现语义解析的最先进性能？
• RQ5 世界结构（如数据库）在多大程度上可引导组合语义的学习？

主要发现

• 所提出的系统在两个标准基准上均优于所有现有最先进语义解析器，尽管未使用任何标注的逻辑形式。
• 使用 DCS 作为语义形式化方法，相较于以往形式化方法，在弱监督下实现了更好的泛化能力和更准确的推理。
• 结合束搜索与数值优化的迭代学习过程，能有效探索可能逻辑形式的指数级空间，并收敛到高精度模型。
• 该系统表明，当结合精心设计的形式化方法与推理策略时，通过问题-答案对的间接监督足以学习丰富的组合语义。
• 结果验证了世界结构约束显著减少了搜索空间，提升了学习效率与准确性。
• 该方法通过将逻辑形式视为隐变量并从答案信号中学习其分布，成功解决了语义解析中程序归纳的核心挑战。