[论文解读] Bertrand-DR: Improving Text-to-SQL using a Discriminative Re-ranker

Amol Kelkar, Rohan Relan+4 more|arXiv (Cornell University)|Feb 3, 2020

Topic Modeling参考文献 18被引用 19

一句话总结

本文提出 Bertrand-DR，一种判别式重排序器，通过从序列到序列文本到SQL模型生成的候选列表中选择最优SQL查询，提升文本到SQL的性能。使用基于BERT的分类器进行微调，该分类器可对候选查询进行排序，从而在Spider基准测试中将逻辑形式准确率最高提升6.6个百分点，提交时达到排行榜第4名。

ABSTRACT

To access data stored in relational databases, users need to understand the database schema and write a query using a query language such as SQL. To simplify this task, text-to-SQL models attempt to translate a user's natural language question to corresponding SQL query. Recently, several generative text-to-SQL models have been developed. We propose a novel discriminative re-ranker to improve the performance of generative text-to-SQL models by extracting the best SQL query from the beam output predicted by the text-to-SQL generator, resulting in improved performance in the cases where the best query was in the candidate list, but not at the top of the list. We build the re-ranker as a schema agnostic BERT fine-tuned classifier. We analyze relative strengths of the text-to-SQL and re-ranker models across different query hardness levels, and suggest how to combine the two models for optimal performance. We demonstrate the effectiveness of the re-ranker by applying it to two state-of-the-art text-to-SQL models, and achieve top 4 score on the Spider leaderboard at the time of writing this article.

研究动机与目标

• 为解决束搜索在文本到SQL模型中的局限性，即正确查询可能存在于候选列表中但不在顶部。
• 通过利用判别式重排序而非仅依赖生成模型的置信度分数，提升整体文本到SQL的准确率。
• 证明重排序器能够有效纠正生成模型中的偏差，尤其在语义相似性较强的简单查询中表现更优。
• 提供一种即插即用的解决方案，兼容多种最先进文本到SQL模型，在无需微调的情况下提升其性能。
• 分析不同查询难度级别下文本到SQL模型与重排序器之间的交互作用，并提出最优集成策略。

提出的方法

• 训练一个基于BERT的分类器，根据自然语言问题和数据库模式预测候选SQL查询的正确性。
• 在（问题，模式，候选查询，标准查询）三元组数据集上微调重排序器，使其学习将正确查询排在更高位置。
• 使用文本到SQL生成器的束搜索生成一组候选SQL查询，然后应用重排序器选择得分最高的查询。
• 设计重排序器为与模式无关，依赖于自然语言问题与SQL查询之间的语义对齐。
• 在四个难度级别（简单、中等、困难、超难）上评估重排序器，分析其在不同查询复杂度下的性能差异。
• 将重排序器与多种最先进模型（如GNN、EditSQL）集成，以证明其泛化能力和可扩展性。

实验结果

研究问题

• RQ1 当正确查询存在于束中但不在顶部时，判别式重排序器是否能显著提升文本到SQL的性能？
• RQ2 重排序器在不同查询复杂度级别（简单、中等、困难、超难）下的性能表现如何变化？
• RQ3 在重排序器输入中包含模式信息会提升还是降低性能，原因是什么？
• RQ4 在不同查询类型之间平衡精确率与召回率时，重排序决策的最优阈值是多少？
• RQ5 单一重排序器模型能否有效处理多种查询类型，还是应对不同难度级别训练独立模型更优？

主要发现

• 重排序器将GNN模型在Spider数据集上的逻辑形式准确率从51.3%提升至57.9%，提升6.6个百分点。
• 重排序器在提交时达到Spider排行榜第4名，展现出强劲的竞争力。
• 性能提升在简单查询中最为显著，因为问题与查询之间的语义相似性有助于重排序器的决策。
• 在重排序器输入中包含模式信息会降低所有难度级别下的性能，可能是因为破坏了问题与查询之间的语义对齐。
• 重排序器能有效纠正文本到SQL模型中的偏差，尤其在生成模型因过拟合复杂查询而表现不佳的简单查询中提升显著。
• 重排序器在不同文本到SQL模型（如GNN和EditSQL）上表现出良好的泛化能力，表明其作为后处理模块具有广泛适用性。