Skip to main content
QUICK REVIEW

[论文解读] Evaluating the Text-to-SQL Capabilities of Large Language Models

Nitarshan Rajkumar, Raymond Li|arXiv (Cornell University)|Mar 15, 2022
Topic ModelingComputer Science被引用 51
一句话总结

本文评估 Codex 和 GPT-3 作为零-shot 与少量示例的 Text-to-SQL 求解器,结果显示 Codex 在 Spider 上是强有力的零-shot 基线,在 GeoQuery 和 Scholar 上,少量示例提示能超越微调的小型模型。

ABSTRACT

We perform an empirical evaluation of Text-to-SQL capabilities of the Codex language model. We find that, without any finetuning, Codex is a strong baseline on the Spider benchmark; we also analyze the failure modes of Codex in this setting. Furthermore, we demonstrate on the GeoQuery and Scholar benchmarks that a small number of in-domain examples provided in the prompt enables Codex to perform better than state-of-the-art models finetuned on such few-shot examples.

研究动机与目标

  • 评估在不进行任务特定微调的情况下,训练有代码能力的大型语言模型能否执行 Text-to-SQL。
  • 将 Codex 和 GPT-3 与在 Spider 上微调的 Transformer 基线进行比较。
  • 研究提示设计与领域内示例如何影响 Text-to-SQL 的性能。
  • 考察 Codex 在零-shot 与少量示例设置下的失误模式。
  • 展示在 GeoQuery 与 Scholar 数据集上少量示例提示自适应带来的益处。

提出的方法

  • 评估 OpenAI API 模型(GPT-3 变体;Codex 变体)在 Spider 零-shot 与多种提示下的表现。
  • 与基于 T5 的 Spider 模型进行对比,包括 PICARD 约束解码和 BRIDGE v2 基线。
  • 在 GeoQuery 与 Scholar 上进行少量示例实验,通过在提示中附加领域内示例。
  • 通过人工标注一组预测来分析错误类型。
  • 研究记忆化问题与模型版本控制,以确保离线评估的公平性。

实验结果

研究问题

  • RQ1在不进行任务特定微调的情况下,Codex 和 GPT-3 模型在 Text-to-SQL 任务上的竞争力如何?
  • RQ2提示设计(模式、内容和数据库内信息)如何影响 Text-to-SQL 的性能?
  • RQ3少量示例提示能否比微调小模型更有效地将 Codex 调整到 GeoQuery 与 Scholar 域?
  • RQ4零-shot 设置中 Codex 的常见错误模式是什么?
  • RQ5在提示中包含数据库内容(或有限的模式)是否在不进行微调的情况下提高语义准确性?

主要发现

  • 最佳 Spider 开发集结果(davinci-codex 采用 Create Table + Select 3)达到 67% 的执行准确率和 56.5% 的测试集准确率,接近 BRIDGE v2 的水平。
  • 提示设计对性能有显著影响;仅使用问题会导致准确率较低,而添加模式和数据库内容则显著提升结果。
  • 增加数据库内容对某些提示的回报递减(Create Table + Select X),且更大的上下文窗口(davinci-codex)在某些提示中可超越较小的变体。
  • 在 GeoQuery 的少量示例设置中,零-shot Codex 模型经常超过微调的小模型,尤其是在提示中包含多达 40 个示例时;在 Scholar 上,微调的 T5-3B 可超过零-shot 的 Codex。
  • GeoQuery 与 Scholar 上的少量示例提示可与或超过微调基线,展示在领域内的强大适应能力,而无需显式微调。
  • 错误分析表明许多“错误”预测对人类而言在语义上是可接受的,提示或受控行为可能带来改进的空间。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。