[论文解读] Compositional Semantic Parsing on Semi-Structured Tables

Panupong Pasupat, Percy Liang|arXiv (Cornell University)|Aug 3, 2015

Natural Language Processing Techniques参考文献 31被引用 114

一句话总结

本文提出了一种用于半结构化HTML表格上复杂问题回答的组合语义解析框架，采用基于逻辑形式的解析器，结合强类型和指称约束，以控制逻辑形式的组合爆炸。在包含22,033个样本的新数据集上，该方法达到37.1%的准确率，显著优于基线方法（信息检索方法为12.7%，简单解析方法为24.3%）。

ABSTRACT

Two important aspects of semantic parsing for question answering are the breadth of the knowledge source and the depth of logical compositionality. While existing work trades off one aspect for another, this paper simultaneously makes progress on both fronts through a new task: answering complex questions on semi-structured tables using question-answer pairs as supervision. The central challenge arises from two compounding factors: the broader domain results in an open-ended set of relations, and the deeper compositionality results in a combinatorial explosion in the space of logical forms. We propose a logical-form driven parsing algorithm guided by strong typing constraints and show that it obtains significant improvements over natural baselines. For evaluation, we created a new dataset of 22,033 complex questions on Wikipedia tables, which is made publicly available.

研究动机与目标

• 解决语义解析中知识源广度与逻辑组合性之间的权衡问题。
• 实现在开放域、半结构化表格上对复杂、组合性问题的准确解析，即使面对未见过的关系与实体。
• 开发一种在测试时对新关系与实体具有鲁棒性的解析系统，且无需依赖预训练的词典。
• 构建一个大规模、公开可用的基于维基百科表格的问答对数据集，以支持开放域语义解析的研究。
• 通过避免使用固定模式的知识库，转而直接处理原始、未标准化的HTML表格，提升语义解析的泛化能力。

提出的方法

• 使用高覆盖度、组合式的语法将问题解析为候选逻辑形式，生成基于表格元素的形式。
• 将表格内容编码为有类型的图结构，表示关系（列标题）、实体（单元格值）及其相互关系。
• 采用基于类型一致性和指称约束的剪枝策略进行束搜索，以控制逻辑形式的组合爆炸。
• 使用对数线性模型，根据短语到关系的对齐程度和结构一致性等特征，对候选逻辑形式进行重排序。
• 在问题-表格-答案三元组上端到端训练解析器，无需依赖将短语映射到关系的预训练词典。
• 强制实施强类型约束，以确保逻辑形式在语义上是良构的，并可在表格上执行。

实验结果

研究问题

• RQ1 语义解析器能否泛化到包含未见过的关系与实体的半结构化表格上的复杂、组合性问题？
• RQ2 基于强类型和指称约束的逻辑形式驱动解析方法，在控制可能逻辑形式的组合爆炸方面有多有效？
• RQ3 在训练过程中未见过的表格上，基于问题-表格-答案三元组训练的解析器能多大程度上实现泛化？
• RQ4 所提出的方法在开放域、基于表格的问题回答任务中，与信息检索和简单语义解析基线相比表现如何？
• RQ5 在真实世界、网络规模的表格问答任务中，逻辑覆盖度与组合深度对模型性能有何影响？

主要发现

• 所提出的语义解析器在WikiTableQuestions测试集上达到37.1%的准确率，显著优于信息检索基线（12.7%）和简单语义解析基线（24.3%）。
• 系统能有效泛化到包含之前未见关系与实体的表格上，因为训练集与测试集表格在设计上互不重叠。
• 强类型与基于指称的剪枝策略显著减少了搜索空间，提升了效率，使复杂表格上的可扩展解析成为可能。
• 该数据集包含22,033个问答对，覆盖2,108个维基百科表格，其中20%用于测试，以确保零样本泛化评估的可靠性。
• 错误分析显示，25%的错误源于间接的短语-关系对齐问题（例如，“airplane”对应“Model”），表明需要更好的词汇泛化能力。
• 该框架支持多种逻辑操作，包括比较、最高级、聚合和算术运算，展示了广泛的组合覆盖能力。