[論文レビュー] SQLBench: A Comprehensive Evaluation for Text-to-SQL Capabilities of Large Language Models

Bin Zhang, Yuxiao Ye+9 more|arXiv (Cornell University)|Mar 5, 2024

Topic Modeling被引用数 8

ひとこと要約

この論文は、テキスト→SQLを評価するための頑健な複数タスクベンチマークとデータセットを構築し、プロンプトテンプレートとイン-context学習を分析し、自己デバッグとSQL最適化を検討し、汎用モデルとコーディング特化モデルを比較します。

ABSTRACT

Large Language Models (LLMs) have emerged as a powerful tool in advancing the Text-to-SQL task, significantly outperforming traditional methods.Nevertheless, as a nascent research field, there is still no consensus on the optimal prompt templates and design frameworks. Additionally, existing benchmarks inadequately explore the performance of LLMs across the various sub-tasks of the Text-to-SQL process, which hinders the assessment of LLMs' cognitive capabilities and the optimization of LLM-based solutions. To address the aforementioned issues, we firstly construct a new dataset designed to mitigate the risk of overfitting in LLMs. Then we formulate five evaluation tasks to comprehensively assess the performance of diverse methods across various LLMs throughout the Text-to-SQL process.Our study highlights the performance disparities among LLMs and proposes optimal in-context learning solutions tailored to each task. These findings offer valuable insights for facilitating the development of LLM-based Text-to-SQL systems.

研究の動機と目的

• LLMをText-to-SQLで系統的にベンチマークする動機づけと過学習およびプロンプト設計のギャップの解消。
• Text-to-SQLプロセスを反映する5つのサブタスクを包含する粒度の高いベンチマークの作成。
• 過学習を緩和し、多様で挑戦的な評価を保証するデータセット（BigTable-0.2k）の開発。
• 異なるモデルファミリーに対する最適なイン-context学習戦略とプロンプトテンプレートの特定。
• 頑丈なL LMベースのText-to-SQLシステム開発を導く洞察の提供。

提案手法

• 質問の難易度、データベース規模、事前知識を変化させることで過学習を抑制するText-to-SQLデータセットを構築。
• Text-to-SQL、SQLデバッグ、SQL最適化、スキーマ連携、SQL-to-Textの5つの評価タスクを定義。
• 様々なプロンプトテンプレートと文脈の粒度を横断して、汎用モデルとコーディング特化モデルの範囲を体系的にテスト。
• エンドツーエンドのText-to-SQLのために、特にSimpleDDL-MD-Chatを含む統一的なプロンプトテンプレートの提案と評価。
• BigTable-0.2kを導入し、BIRDをベースにマルチテーブルクエリと外部知識推論をストレステストする拡張データセット。
• さまざまなエラー情報の粒度とラウンドを用いた自己デバッグの効果を評価し、性能向上を定量化。
• VSを用いたSQL最適化を評価し、正確さと最適化品質を区別するC-VESを導入。
• 意味論的健全性チェックとしてのSQL-to-Textを探索し、モデルの記述能力を評価。

実験結果

リサーチクエスチョン

• RQ1 異なるLLMはText-to-SQLパイプラインのサブタスクでどのように実行されるか？
• RQ2 どのプロンプトテンプレート構造と文脈粒度が、モデル間でエンドツーエンドのText-to-SQLパフォーマンスを最も高めるか？
• RQ3 LLMsは正確さを損なうことなく自己デバッグと自己最適化を効果的に行えるか？
• RQ4 汎用モデルとコーディング特化モデルのText-to-SQLにおける役割は何で、現実的で大規模なスキーマでどう比較されるか？
• RQ5 SQL-to-Textはモデルの理解とエラ分析に意味のある洞察を提供するか？

主な発見

Prompt Template	SQLCoder-34B	Codellama-34B	InternLM-70B	Llama2-Chat-70B
DDL-HTML-Chat	57.8	63.7	65.0	49.6
DDL-HTML-Complete	61.8	65.2	53.8	50.2
DDL-MD-Chat	63.2	68.4	66.3	48.7
DDL-MD-Complete	62.4	69.8	64.1	46.8
DDL-Coding-Chat	60.3	67.1	66.1	48.4
DDL-Coding-Complete	59.7	66.9	62.9	53.4
SimpleDDL-MD-Chat	65.0	71.6	67.4	54.7
SimpleDDL-MD-Complete	63.3	66.0	61.7	50.2

• プロンプト SimpleDDL-MD-Chat は、 tested models に対してエンドツーエンドの Text-to-SQL で常に最高の EX を生み出す。
• コーディング重視のモデル（SQLCoder-34B, CodeLlama）はSpider/BIRD バリアントで一般モデルを上回る傾向がある一方、いくつかの一般モデル（InternLM, InternLM2-20B）は特定データセットでギャップを詰める。
• GTテーブル数が増えるとEXは低下するが、平均列数が高いほど難易度が増す。
• 詳細なエラー情報と注釈は自己デバッグの効果を大きく高め、1-2ラウンドが多くのモデルで最適。
• 効率的なSQLの直接生成（多回のデバッグなし）は、多段階最適化を上回ることがあり、インコンテキスト最適化への仮定に挑戦する。
• SQL-to-Textの結果は、一般モデルがコーディング特化モデルより意味的記述タスクで優れていることを示唆。
• 新規のBigTable-0.2kデータセットと構造化評価は、モデルファミリ間の性能差とタスク固有の強みを明らかにする。