[论文解读] Inferring Logical Forms From Denotations

Panupong Pasupat, Percy Liang|arXiv (Cornell University)|Jun 22, 2016

Natural Language Processing Techniques参考文献 25被引用 13

一句话总结

本文提出了一种基于指称的动态规划方法（DPD），以高效枚举给定问题和指称的所有一致逻辑形式，在WikiTableQuestions数据集上的覆盖度从53.5%显著提升至76%。为过滤偶然产生正确答案的虚假形式（即与真实语义不符的形式），该方法在合成生成的虚构世界中使用众包指称，将虚假形式减少了92.1%，同时保持了语义正确性。

ABSTRACT

A core problem in learning semantic parsers from denotations is picking out consistent logical forms--those that yield the correct denotation--from a combinatorially large space. To control the search space, previous work relied on restricted set of rules, which limits expressivity. In this paper, we consider a much more expressive class of logical forms, and show how to use dynamic programming to efficiently represent the complete set of consistent logical forms. Expressivity also introduces many more spurious logical forms which are consistent with the correct denotation but do not represent the meaning of the utterance. To address this, we generate fictitious worlds and use crowdsourced denotations on these worlds to filter out spurious logical forms. On the WikiTableQuestions dataset, we increase the coverage of answerable questions from 53.5% to 76%, and the additional crowdsourced supervision lets us rule out 92.1% of spurious logical forms.

研究动机与目标

• 解决从指称学习语义解析器时，在大规模、表达能力强的搜索空间中枚举所有一致逻辑形式的挑战。
• 克服先前工作中束搜索方法和受限规则集导致的表达能力受限问题。
• 过滤掉那些偶然产生正确指称但不反映问题真实语义的虚假逻辑形式。
• 通过使用合成数据和人类标注的虚构世界指称，提升语义解析器的泛化能力和鲁棒性。
• 通过结合精确搜索与合成数据上的主动学习，实现语义解析更高的覆盖度和准确率。

提出的方法

• 使用基于指称的动态规划（DPD）系统枚举所有能产生正确指称的逻辑形式，确保在限定大小范围内的完备性。
• 定义了一组通用且表达能力强的推理规则，用于生成逻辑形式，避免先前研究中限制表达能力的限制。
• 通过扰动原始知识源（如维基百科表格）生成合成的“虚构世界”，以测试逻辑形式的鲁棒性。
• 在部分虚构世界中收集众包指称，以识别哪些逻辑形式在语义上是正确的。
• 采用主动学习策略选择最具信息量的虚构世界，以最大化信息增益并降低标注成本。
• 通过排除在多个合成世界中与人类标注指称不一致的逻辑形式，过滤掉虚假形式。

实验结果

研究问题

• RQ1 我们能否在不依赖限制性规则集的前提下，高效枚举给定问题和指称的所有一致逻辑形式？
• RQ2 如何减少那些偶然产生正确指称但并非语义正确的虚假逻辑形式数量？
• RQ3 合成世界与人工标注的指称在多大程度上能改善对语义错误但指称正确的逻辑形式的过滤？
• RQ4 与束搜索或基于规则的方法相比，使用基于指称的动态规划是否能显著提升可回答问题的覆盖度？
• RQ5 在合成世界上使用主动学习是否能降低标注成本，同时保持对虚假形式过滤的高准确率？

主要发现

• DPD方法将WikiTableQuestions数据集中可回答问题的覆盖度从53.5%提升至76%，显著优于先前的束搜索方法。
• 在合成世界中使用众包指称成功过滤掉92.1%的虚假逻辑形式，大幅提升了语义准确性。
• 在使用主动学习选择最具信息量的虚构世界时，正确识别了51.3%的等价类，而随机选择仅能识别22.6%。
• 即使存在标注错误，当允许最多一次与标注不一致时，该方法在91%的情况下仍能保留正确的等价类。
• 正确等价类的平均大小约为3,000，凸显了语义等价逻辑形式在句法上的高度多样性。
• 当放宽一致性要求、允许一次与标注不一致时，该方法将错误剔除正确逻辑形式的风险降低至3%。