[論文レビュー] A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability

Aiwei Liu, Xuming Hu+2 more|arXiv (Cornell University)|Mar 12, 2023

Topic Modeling被引用数 60

ひとこと要約

本論文はChatGPTのゼロショットText-to-SQL性能を12のベンチマークで評価し、強力な能力と堅牢性を示す。一部SOTAモデルには及ばないギャップがあるが、対向的な（adversarial）およびマルチターンの状況で顕著な勝利を示している。

ABSTRACT

This paper presents the first comprehensive analysis of ChatGPT's Text-to-SQL ability. Given the recent emergence of large-scale conversational language model ChatGPT and its impressive capabilities in both conversational abilities and code generation, we sought to evaluate its Text-to-SQL performance. We conducted experiments on 12 benchmark datasets with different languages, settings, or scenarios, and the results demonstrate that ChatGPT has strong text-to-SQL abilities. Although there is still a gap from the current state-of-the-art (SOTA) model performance, considering that the experiment was conducted in a zero-shot scenario, ChatGPT's performance is still impressive. Notably, in the ADVETA (RPL) scenario, the zero-shot ChatGPT even outperforms the SOTA model that requires fine-tuning on the Spider dataset by 4.1\%, demonstrating its potential for use in practical applications. To support further research in related fields, we have made the data generated by ChatGPT publicly available at https://github.com/THU-BPM/chatgpt-sql.

研究の動機と目的

• 多様なデータセットと言語にわたるChatGPTのゼロショットText-to-SQL能力を評価する。
• 複数の堅牢性シナリオでゼロショットのChatGPTとファインチューニング済みのSOTAモデルを比較する。
• 対向的（adversarial）およびマルチターン設定を含む、ChatGPTが優れるシナリオを特定する。
• Text-to-SQLタスクの今後のプロンプティングとデータ拡張の指針となる洞察を提供する。

提案手法

• 固定のOpenAIデモ風Text-to-SQLプロンプトを採用する（シングルターンおよびマルチターンのバリアント）。
• Spiderファミリを含む実世界の変種、対向的、多言語、およびマルチターンのデータセットを網羅する12の公開Text-to-SQLベンチマークでChatGPTを評価する。
• 厳密一致ではなく、実行ベースの指標（Valid SQL、Execution Accuracy、Test-Suite）を使用する。
• ChatGPTのファインチューニングを使用せず、制約付きデコードやスケルトン誘導デコード（PICARD、RASAT、RESDSQL）に基づくベースラインと比較する。
• 同義語置換、知識要件、対向的なカラム名の変更、クロスリンガル設定など、データセット全体での堅牢性を分析する。
• 一般的なエラータイプと潜在的な改善を示すケーススタディを提供する。

Figure 1: Example prompts for Text-to-SQL using ChatGPT. The prompt at the top is for a single-turn scenario, while the one below is for multi-turn scenarios where only new questions are added in each interaction.

実験結果

リサーチクエスチョン

• RQ1 標準的なText-to-SQLベンチマークにおけるゼロショットChatGPTの性能は、ファインチューニング済みのSOTAモデルと比較してどの程度か。
• RQ2 同義語置換、追加知識、対向的なカラム名の変更などの堅牢性課題に対してChatGPTはどれだけ頑健か。
• RQ3 マルチターンおよびクロスリンガルのText-to-SQL設定でのChatGPTの性能はどうか。
• RQ4 ChatGPTはどのようなエラーを犯し得るか、ゼロショットのText-to-SQL能力を改善する具体的な方向性は何か。

主な発見

• ChatGPTは強力なゼロショットText-to-SQL性能を達成し、Execution AccuracyのSpiderデータで訓練されたSOTAモデルとの差はわずか14%のギャップである。
• 特定の堅牢性シナリオでは、ChatGPTはSOTA手法との差を狭めるか、あるいは埋める（例：ADVETA(RPL)でSOTAを4.1%上回る）?。
• ChatGPTは堅牢性ベンチマークで標準のSpiderデータセットより小さなギャップを示し、堅牢性設定の一部で7.8%のギャップなど。
• マルチターン設定（SParC、CoSQL）でも競争力を維持し、シングルターン結果に比べギャップが小さいことから、文脈モデル化が効果的であることを示す。
• 中国語のText-to-SQLデータセット（CSpider、DuSQL）ではChatGPTは良好に性能を示すが、表名・列名も中国語の場合にはギャップが大きく、クロスリンガルな一般化の課題を浮き彫りにする。
• Exact-matchベースの評価はSQLには弱いため、実行ベースの指標を重視。ChatGPTの出力は構文が異なっても意味的には等価であることが多い。