[论文解读] Content Enhanced BERT-based Text-to-SQL Generation

Tong Guo, Huilin Gao|arXiv (Cornell University)|Oct 16, 2019

Topic Modeling参考文献 5被引用 46

一句话总结

这篇论文在基于BERT的 NL2SQL 模型中添加了来自表格内容和表头的两个外部特征向量，提升 WikiSQL 的性能并获得业界领先的结果。

ABSTRACT

We present a simple methods to leverage the table content for the BERT-based model to solve the text-to-SQL problem. Based on the observation that some of the table content match some words in question string and some of the table header also match some words in question string, we encode two addition feature vector for the deep model. Our methods also benefit the model inference in testing time as the tables are almost the same in training and testing time. We test our model on the WikiSQL dataset and outperform the BERT-based baseline by 3.7% in logic form and 3.7% in execution accuracy and achieve state-of-the-art.

研究动机与目标

• 提出将表格内容作为外部知识用于 NL2SQL 模型的动机。
• 提出两个特征向量，将问题与表格单元格和表头对齐。
• 将这些特征集成到基于 BERT 的架构中，以处理 SELECT、AGG 和 WHERE 组件。

提出的方法

• 通过在问题与表格元素之间的词语匹配，构建 question-content 与 header-content 匹配向量（QV 和 HV）。
• 将问题和表头输入连接起来，供 BERT 获取上下文表示 Q 和 H。
• 使用 Q、H、QV、HV 及各自的概率预测 SELECT 列、SELECT 聚合、WHERE 数字、WHERE 列、WHERE 操作符和值。
• 在 WikiSQL 上进行端到端训练，并进行消融实验以评估向量的贡献。
• 可选地应用执行引导解码以进一步提升结果。

实验结果

研究问题

• RQ1 来自表格内容的外部特征是否能相对于标准 BERT 基线提升 NL2SQL 的性能？
• RQ2 表格单元格/表头匹配如何影响 NU2SQL 组件的预测（SELECT、WHERE、AGG）？
• RQ3 在推理阶段加入 QV 和 HV，当训练和测试表格相似时，是否带来收益？

主要发现

• 在 WikiSQL 上，在 logic form 与 execution accuracy 两个指标上，比基于 BERT 的基线提升 3.7 个百分点。
• 使用所提出的外部特征在 WikiSQL 任务上达到最先进的结果。
• 消融结果显示 header 向量主要提升 WHERE OP，而 question 向量主要提升 WHERE VALUE。
• 添加外部特征向量在 SELECT 列、WHERE 数字、WHERE 列、WHERE 值任务上带来显著提升。
• 执行引导解码在结合外部特征时提供了增量提升。