[论文解读] Encoding Database Schemas with Relation-Aware Self-Attention for Text-to-SQL Parsers

Richard Shin|arXiv (Cornell University)|Jun 27, 2019

Topic Modeling参考文献 21被引用 9

一句话总结

本文提出了一种关系感知的自注意力机制，用于编码数据库模式和自然语言问题，以实现文本到SQL的解析，显式建模表与列之间的关系，如外键关系。通过将关系结构整合到自注意力过程中，该方法在Spider基准测试中实现了42.94%的精确匹配准确率，显著优于先前工作的18.96%。

ABSTRACT

When translating natural language questions into SQL queries to answer questions from a database, we would like our methods to generalize to domains and database schemas outside of the training set. To handle complex questions and database schemas with a neural encoder-decoder paradigm, it is critical to properly encode the schema as part of the input with the question. In this paper, we use relation-aware self-attention within the encoder so that it can reason about how the tables and columns in the provided schema relate to each other and use this information in interpreting the question. We achieve significant gains on the recently-released Spider dataset with 42.94% exact match accuracy, compared to the 18.96% reported in published work.

研究动机与目标

• 提升文本到SQL模型在未见过的数据库模式和领域中的泛化能力。
• 解决在具有外键关系的复杂多表数据库模式中进行推理的挑战。
• 通过在表示学习过程中显式建模表与列之间的关系，增强模式编码效果。
• 评估关系结构与自注意力机制对SQL查询生成准确率的影响。

提出的方法

• 该方法在模式元素（表、列）上构建一个有向、带标签的图，包含25种子关系类型，包括外键、主键以及列-表关系。
• 每个节点（表或列）以及问题中的词均基于其名称或文本初始化为可学习的嵌入表示。
• 关系感知的自注意力机制通过关注所有其他元素来更新节点和词的表示，同时结合编码语义关系的边标签。
• 编码器使用4层关系感知自注意力机制，其中注意力权重同时依赖于节点之间的内容和关系类型。
• 解码器使用树状结构的注意力机制，对编码后的表示进行注意力聚合，以生成SQL查询，并使用指针网络来引用列和表。
• 该模型在Spider数据集上采用序列到序列框架进行端到端训练，使用交叉熵损失函数。

实验结果

研究问题

• RQ1 在编码器中显式建模模式关系（如外键）是否能提升文本到SQL的性能？
• RQ2 与不带关系标签的标准自注意力机制相比，关系感知自注意力机制的贡献有多大？
• RQ3 在低资源文本到SQL数据集上，使用预训练词嵌入对性能的影响有多大？
• RQ4 该模型在未见过的数据库模式和复杂查询上的泛化能力如何？

主要发现

• 所提出的方法在Spider开发集上实现了42.94%的精确匹配准确率，显著优于之前最先进方法的18.96%。
• 移除所有自注意力层（N=0）后，性能下降至24.18%，证实了模式元素之间消息传递的重要性。
• 省略关系信息后，准确率降至27.83%，表明关系结构的重要性超过自注意力机制本身。
• 在无OOV词的子集上，若不使用预训练词嵌入，性能降至40.17%，而完整模型在相同子集上达到50.21%，表明预训练具有显著优势。
• 消融实验表明，关系感知自注意力机制是性能提升的主要驱动力，而不仅仅是注意力机制设计的改进。