QUICK REVIEW
[論文レビュー] Evaluating the Text-to-SQL Capabilities of Large Language Models
Nitarshan Rajkumar, Raymond Li|arXiv (Cornell University)|Mar 15, 2022
ひとこと要約
本論文は Codex と GPT-3 をゼロショットおよび少数ショットの Text-to-SQL ソルバーとして評価し、Codex が Spider で強力なゼロショットのベースラインであること、少数ショットのプロンプト設計により GeoQuery と Scholar でファインチューニング済みの小規模モデルを上回る可能性があることを示している。
ABSTRACT
We perform an empirical evaluation of Text-to-SQL capabilities of the Codex language model. We find that, without any finetuning, Codex is a strong baseline on the Spider benchmark; we also analyze the failure modes of Codex in this setting. Furthermore, we demonstrate on the GeoQuery and Scholar benchmarks that a small number of in-domain examples provided in the prompt enables Codex to perform better than state-of-the-art models finetuned on such few-shot examples.
研究の動機と目的
- コードで訓練された大規模言語モデルが、タスク特有のファインチューニングなしで Text-to-SQL を実行できるかを評価する。
- Spider におけるファインチューニング済みの Transformer ベースラインと Codex および GPT-3 を比較する。
- プロンプト設計とドメイン内の例が Text-to-SQL の性能にどう影響するかを調査する。
- ゼロショットおよび少数ショット設定における Codex の失敗モードを検証する。
- GeoQuery および Scholar データセットにおける少数ショットプロンプト適応の利点を示す。
提案手法
- Spider におけるゼロショットおよびさまざまなプロンプトで、OpenAI API モデル(GPT-3 の variants; Codex variants)を評価する。
- PICARD 制約付きデコードを含む T5 ベースの Spider モデルや BRIDGE v2 のベースラインと比較する。
- GeoQuery および Scholar で、プロンプトにドメイン内の例を追加して少数ショット実験を行う。
- 予測の一部を手動で注釈付けして誤りタイプを分析する。
- オフライン評価の公平性を確保するため、 memorization の懸念とモデルのバージョン管理を調査する。
実験結果
リサーチクエスチョン
- RQ1タスク特定のファインチューニングを行わずに、Text-to-SQL タスクで Codex および GPT-3 はどれほど競合できるか?
- RQ2プロンプト設計(スキーマ、内容、データベース内情報)が Text-to-SQL の性能にどう影響するか?
- RQ3少数ショット prompting は Codex を GeoQuery および Scholar ドメインに、小さなモデルのファインチューニングよりも効果的に適応できるか?
- RQ4Text-to-SQL のゼロショット設定における Codex の一般的な誤りモードは何か?
- RQ5プロンプトにデータベース内容を含める(または限定的なスキーマ)ことで、ファインチューニングなしでも意味的正確性が向上するか?
主な発見
- Spider 開発セットでの最高結果(davinci-codex with Create Table + Select 3)は 67% の実行精度と 56.5% のテストスイート精度に達し、BRIDGE v2 と競合する。
- プロンプト設計は性能に劇的な影響を与える。質問のみでは精度は低く、スキーマとデータベース内容を追加すると結果が著しく改善される。
- データベース内容を増やすと、いくつかのプロンプトで収益逓減が生じることがあり、より大きなコンテキスト窓(davinci-codex)は、特定のプロンプトで小型バリアントを上回ることがある。
- GeoQuery では、ゼロショット Codex が、 few-shot 設定でファインチューニング済みの小規模モデルをしばしば上回る。特にプロンプト内例が最大で 40 の場合。Scholar では、ファインチューニング済みの T5-3B がゼロショット Codex を上回ることがある。
- Few-shot prompting with Codex in GeoQuery and Scholar can match or exceed finetuned baselines, illustrating strong in-domain adaptation without explicit fine-tuning.
- Error analysis reveals many “incorrect” predictions are semantically acceptable to humans, suggesting potential improvements via prompting or controlled behavior.
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。