[论文解读] A Survey of Text-to-SQL in the Era of LLMs: Where are we, and where are we going?

Xinyu Liu, Shuyu Shen+8 more|arXiv (Cornell University)|Aug 9, 2024

Semantic Web and Ontologies被引用 4

一句话总结

本综述对大型语言模型（LLMs）驱动的文本到SQL（NL2SQL）系统进行了全面的、基于生命周期的分析，涵盖模型架构、数据合成、评估策略和错误分析。它提出了一种基于LLM的NL2SQL模块化框架、两级错误分类法，并为实际部署提供了实用路线图，突出强调了在LLM时代通用性、可信度和现实世界鲁棒性方面的关键挑战与开放问题。

ABSTRACT

Translating users' natural language queries (NL) into SQL queries (i.e., Text-to-SQL, a.k.a. NL2SQL) can significantly reduce barriers to accessing relational databases and support various commercial applications. The performance of Text-to-SQL has been greatly enhanced with the emergence of Large Language Models (LLMs). In this survey, we provide a comprehensive review of Text-to-SQL techniques powered by LLMs, covering its entire lifecycle from the following four aspects: (1) Model: Text-to-SQL translation techniques that tackle not only NL ambiguity and under-specification, but also properly map NL with database schema and instances; (2) Data: From the collection of training data, data synthesis due to training data scarcity, to Text-to-SQL benchmarks; (3) Evaluation: Evaluating Text-to-SQL methods from multiple angles using different metrics and granularities; and (4) Error Analysis: analyzing Text-to-SQL errors to find the root cause and guiding Text-to-SQL models to evolve. Moreover, we offer a rule of thumb for developing Text-to-SQL solutions. Finally, we discuss the research challenges and open problems of Text-to-SQL in the LLMs era. Text-to-SQL Handbook: https://github.com/HKUSTDial/NL2SQL Handbook

研究动机与目标

• 为大语言模型（LLMs）时代下的NL2SQL技术提供系统性、基于生命周期的综述。
• 识别并分析NL2SQL中的核心挑战，包括歧义性、描述不充分以及模式链接问题，特别是在现实世界部署场景中。
• 提出一种基于LLM的NL2SQL系统的模块化框架，包含数据库内容检索和后处理等关键组件。
• 构建一个两级错误分类法，用于诊断和改进NL2SQL模型的失败情况。
• 为实践者提供优化LLM用于NL2SQL的路线图，以及根据使用场景选择合适模块的决策流程。

提出的方法

• 将NL2SQL方法划分为四大支柱：模型架构、数据收集与合成、多角度评估和错误分析。
• 提出一种基于LLM的NL2SQL模块化框架，包含预处理、转换和后处理组件，涵盖数据库内容检索和模式链接。
• 引入一种两级错误分类法，根据根本原因（如模式错位、逻辑错误）和影响（如语法错误与语义错误）对NL2SQL输出错误进行分类，从而实现针对性的模型优化。
• 设计一条实用的微调与适配LLM用于NL2SQL的路线图，强调迭代优化和模块选择。
• 开发一个决策流程图，根据部署上下文（如领域特定性、精度要求和延迟约束）指导模块选择。
• 提出利用模型反馈进行自适应训练数据合成，以动态生成多样化、低资源的（nl, sql）配对，提升在不同领域中的泛化能力。

实验结果

研究问题

• RQ1 基于LLM的NL2SQL模型如何处理自然语言查询中的歧义性和描述不充分问题？有哪些技术可改善模式和实例的对齐？
• RQ2 高效LLM驱动的NL2SQL系统中的关键组件和设计模式是什么？它们如何提升性能与鲁棒性？
• RQ3 NL2SQL评估如何超越标准准确率指标？情景化评估和细粒度评估在模型选择中扮演什么角色？
• RQ4 NL2SQL输出中的主导错误模式是什么？系统性分类法如何指导模型调试与改进？
• RQ5 在现实环境中部署NL2SQL仍面临哪些开放挑战，特别是可信度、成本以及对未见领域的适应性方面？

主要发现

• 综述指出，当前基于LLM的NL2SQL模型在语义不匹配和模式链接方面仍存在困难，尤其是在查询具有歧义性或描述不充分的情况下。
• 开发了两级错误分类法，按根本原因（如模式错位、逻辑错误）和影响（如语法错误与语义错误）对错误进行分类，从而实现针对性的模型优化。
• 利用LLM反馈进行自适应训练数据合成，在低资源和未见领域中提升模型泛化能力方面展现出潜力。
• 多角度评估——基于SQL复杂度、自然语言变体和领域特定性——对于识别模型弱点和指导部署决策至关重要。
• 所提出的路线图和模块选择决策流程显著降低了实践者的系统设计负担，并提升了现实场景下的系统可靠性。
• 开放问题包括构建可信、成本可控且支持开放世界的NL2SQL系统，特别是借助可视化调试器和交互式查询重写工具。