[论文解读] Global Reasoning over Database Structures for Text-to-SQL Parsing

Ben Bogin, Matt Gardner+1 more|arXiv (Cornell University)|Aug 29, 2019

Natural Language Processing Techniques参考文献 17被引用 10

一句话总结

本文提出一种用于零样本文本到SQL解析的全局推理框架，通过利用图神经网络（GNNs）实现基于模式的注意力机制，并引入基于问题词与数据库常量之间全局对齐的重排序模块，提升数据库常量的选择准确性。该方法通过实现上下文感知的、联合的数据库常量选择，将Spider基准测试上的准确率从39.4%提升至47.4%，优于依赖局部相似性得分的自回归基线模型。

ABSTRACT

State-of-the-art semantic parsers rely on auto-regressive decoding, emitting one symbol at a time. When tested against complex databases that are unobserved at training time (zero-shot), the parser often struggles to select the correct set of database constants in the new database, due to the local nature of decoding. In this work, we propose a semantic parser that globally reasons about the structure of the output query to make a more contextually-informed selection of database constants. We use message-passing through a graph neural network to softly select a subset of database constants for the output query, conditioned on the question. Moreover, we train a model to rank queries based on the global alignment of database constants to question words. We apply our techniques to the current state-of-the-art model for Spider, a zero-shot semantic parsing dataset with complex databases, increasing accuracy from 39.4% to 47.4%.

研究动机与目标

• 为解决在训练期间未见过新数据库时，零样本文本到SQL解析中正确选择数据库常量的挑战。
• 克服自回归解码器仅基于词级相似性对数据库常量进行局部、孤立决策的局限性。
• 通过整合数据库模式和问题的全局结构与语义线索，提升在复杂、未见数据库上的泛化能力。
• 设计一种方法，联合推理数据库常量与问题词，以减少由模糊或误导性词汇匹配引发的错误。
• 证明通过GNN-based门控机制和重排序实现的全局推理，能显著提升Spider基准测试上的性能。

提出的方法

• 使用图神经网络（GNN）将数据库模式编码为节点表示，其中节点代表表、列以及外键关系。
• 门控机制通过模式图进行消息传递，基于输入问题的条件，软性选择可能出现在输出查询中的数据库常量子集。
• 通过学习的相似性函数计算问题词与数据库常量之间的全局注意力得分，实现超越局部词匹配的上下文感知选择。
• 一个独立的重排序模型评估自回归解码器生成的Top-K候选查询，根据所选数据库常量与问题的全局对齐程度进行排序。
• 重排序模型使用未对齐问题词的表示，并学习优先选择数据库常量与完整问题上下文语义对齐的查询。
• 最终预测采用重排序后的列表，当存在并列情况时，通过原始解码器的自回归得分进行破缺，以保持结构正确性。

实验结果

研究问题

• RQ1 在数据库模式和问题上进行全局推理，是否能超越基于局部相似性的解码方式，提升零样本文本到SQL的准确率？
• RQ2 基于GNN的门控机制在建模模式结构和问题上下文的基础上，识别相关数据库常量的效率如何？
• RQ3 基于数据库常量与问题的全局对齐，对Top-K自回归输出进行重排序，是否能带来显著的性能提升？
• RQ4 全局线索在多大程度上减少了因词汇歧义导致的错误表连接或列选择？
• RQ5 所提出的方法是否可作为即插即用模块集成到现有语义解析器中，而无需进行架构层面的全面重构？

主要发现

• 所提出的Global-GNN模型在Spider测试集上实现了47.4%的精确匹配准确率，较之前SOTA的39.4%提升了8个百分点。
• 开发集准确率达到52.1%，显著优于先前模型，尤其在复杂度最高的多表查询上表现突出。
• 若移除全局门控或重排序组件，性能均下降4%，证明两个组件均不可或缺。
• 若在重排序器训练中不使用相关性损失，准确率下降2%，证实将数据库常量与问题语义对齐的重要性。
• 该模型通过利用全局上下文，减少了基线模型中常见的列覆盖不足和错误表连接等问题。
• 一个理想化分析表明，若全局门控和重排序均达到完美状态，准确率可分别提升至63.2%和73.5%，表明未来仍有巨大优化空间。