QUICK REVIEW
[论文解读] Evaluating the Text-to-SQL Capabilities of Large Language Models
Nitarshan Rajkumar, Raymond Li|arXiv (Cornell University)|Mar 15, 2022
一句话总结
本文评估 Codex 和 GPT-3 作为零-shot 与少量示例的 Text-to-SQL 求解器,结果显示 Codex 在 Spider 上是强有力的零-shot 基线,在 GeoQuery 和 Scholar 上,少量示例提示能超越微调的小型模型。
ABSTRACT
We perform an empirical evaluation of Text-to-SQL capabilities of the Codex language model. We find that, without any finetuning, Codex is a strong baseline on the Spider benchmark; we also analyze the failure modes of Codex in this setting. Furthermore, we demonstrate on the GeoQuery and Scholar benchmarks that a small number of in-domain examples provided in the prompt enables Codex to perform better than state-of-the-art models finetuned on such few-shot examples.
研究动机与目标
- 评估在不进行任务特定微调的情况下,训练有代码能力的大型语言模型能否执行 Text-to-SQL。
- 将 Codex 和 GPT-3 与在 Spider 上微调的 Transformer 基线进行比较。
- 研究提示设计与领域内示例如何影响 Text-to-SQL 的性能。
- 考察 Codex 在零-shot 与少量示例设置下的失误模式。
- 展示在 GeoQuery 与 Scholar 数据集上少量示例提示自适应带来的益处。
提出的方法
- 评估 OpenAI API 模型(GPT-3 变体;Codex 变体)在 Spider 零-shot 与多种提示下的表现。
- 与基于 T5 的 Spider 模型进行对比,包括 PICARD 约束解码和 BRIDGE v2 基线。
- 在 GeoQuery 与 Scholar 上进行少量示例实验,通过在提示中附加领域内示例。
- 通过人工标注一组预测来分析错误类型。
- 研究记忆化问题与模型版本控制,以确保离线评估的公平性。
实验结果
研究问题
- RQ1在不进行任务特定微调的情况下,Codex 和 GPT-3 模型在 Text-to-SQL 任务上的竞争力如何?
- RQ2提示设计(模式、内容和数据库内信息)如何影响 Text-to-SQL 的性能?
- RQ3少量示例提示能否比微调小模型更有效地将 Codex 调整到 GeoQuery 与 Scholar 域?
- RQ4零-shot 设置中 Codex 的常见错误模式是什么?
- RQ5在提示中包含数据库内容(或有限的模式)是否在不进行微调的情况下提高语义准确性?
主要发现
- 最佳 Spider 开发集结果(davinci-codex 采用 Create Table + Select 3)达到 67% 的执行准确率和 56.5% 的测试集准确率,接近 BRIDGE v2 的水平。
- 提示设计对性能有显著影响;仅使用问题会导致准确率较低,而添加模式和数据库内容则显著提升结果。
- 增加数据库内容对某些提示的回报递减(Create Table + Select X),且更大的上下文窗口(davinci-codex)在某些提示中可超越较小的变体。
- 在 GeoQuery 的少量示例设置中,零-shot Codex 模型经常超过微调的小模型,尤其是在提示中包含多达 40 个示例时;在 Scholar 上,微调的 T5-3B 可超过零-shot 的 Codex。
- GeoQuery 与 Scholar 上的少量示例提示可与或超过微调基线,展示在领域内的强大适应能力,而无需显式微调。
- 错误分析表明许多“错误”预测对人类而言在语义上是可接受的,提示或受控行为可能带来改进的空间。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。