[論文レビュー] SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended)

Ruoxi Sun, Sercan Ö. Arık+9 more|arXiv (Cornell University)|May 26, 2023

Semantic Web and Ontologies被引用数 25

ひとこと要約

SQL-PaLM は PaLM-2 を Text-to-SQL に適用し、few-shot 実行ベースの自己整合性とファインチューニングを用いて、Spider のテストスイート精度で最新の状態を達成し、Spider のバリアント全体で頑健性を示します。

ABSTRACT

Text-to-SQL, the process of translating natural language into Structured Query Language (SQL), represents a transformative application of large language models (LLMs), potentially revolutionizing how humans interact with data. This paper introduces the SQL-PaLM framework, a comprehensive solution for understanding and enhancing Text-to-SQL using LLMs, using in the learning regimes of few-shot prompting and instruction fine-tuning. With few-shot prompting, we explore the effectiveness of consistency decoding with execution-based error filtering. With instruction fine-tuning, we delve deep in understanding the critical paradigms that influence the performance of tuned LLMs. In particular, we investigate how performance can be improved through expanded training data coverage and diversity, synthetic data augmentation, and integrating query-specific database content. We propose a test-time selection method to further refine accuracy by integrating SQL outputs from multiple paradigms with execution feedback as guidance. Additionally, we tackle the practical challenge of navigating intricate databases with a significant number of tables and columns, proposing efficient techniques for accurately selecting relevant database elements to enhance Text-to-SQL performance. Our holistic approach yields substantial advancements in Text-to-SQL, as demonstrated on two key public benchmarks, Spider and BIRD. Through comprehensive ablations and error analyses, we shed light on the strengths and weaknesses of our framework, offering valuable insights into Text-to-SQL's future work.

研究の動機と目的

• PaLM-2 を用いて few-shot prompting と fine-tuning の双方を活用し、大規模言語モデル（LLMs）による Text-to-SQL の動機付けと課題解決を行う。
• few-shot SQL 生成を改善するための実行ベースの自己整合性アプローチを導入する。
• Spider データを用いた大規模 LLM のファインチューニングを実証し、Spider バリアントにおける分布シフトへの頑健性を評価する。
• in-context 学習とファインチューニング済みの SOTA 手法の強力なベースラインと比較する。
• prompting 設計の選択と自己整合性、実行フィルタリング、およびモデル適応の相互作用を分析する。

提案手法

• Text-to-SQL のバックボーンとして PaLM-2 を few-shot と fine-tuned の両方の設定で採用する。
• 実行結果が一貫する SQL を選択するために、few-shot プロンプト用の実行ベースの自己整合性デコーディング方式を設計する。
• Spider の学習データ（データベーススキーマと自然言語の質問）で PaLM-2 をファインチューニングし、ターゲット SQL を生成する。
• Spider およびそのバリアントで実行精度（EX）とテストスイート精度（TS）を用いて評価する。
• 自己整合性、実行フィルタリング、およびプロンプト設計が性能へ及ぼす影響を測るアブレーションを実施する。
• Few-shot SQL-PaLM と Fine-tuned SQL-PaLM を、PICARD、RASAT、RESDSQL、およびさまざまな in-context learning プロンプトを含むベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 実行ベースの自己整合性を用いた Text-to-SQL において、few-shot SQL-PaLM は最新のファインチューニング済み手法および in-context 学習手法と比較してどのような性能を示すか？
• RQ2 実行フィルタリングと自己整合性が SQL-PaLM の精度に与える影響は何か？
• RQ3 Spider データで PaLM-2 をファインチューニングすることは、Spider バリアントへの頑健性と一般化の点で few-shot prompting とどう比較されるか？
• RQ4 SQL-PaLM は SQL 生成における異なるプロンプト設計や難易度レベルの変化に対して性能を維持するか？

主な発見

• Few-shot SQL-PaLM は Spider dev で 77.3% TS を達成し、ファインチューニング済み SOTA を 3.8%、in-context 学習 SOTA を 3.1% 上回る。
• Fine-tuned SQL-PaLM は Spider dev で 78.2% TS に達し、従来のファインチューニング SOTA を 4.7% 上回る。
• アブレーションにより、自己整合性と実行フィルタリングが性能を著しく向上させることが示され、これらを除くと TS が低下する。
• SQL-PaLM は Spider-varients（Spider-SYN、Spider-Realistic、Spider-DK）全体で強い頑健性を示し、ベースラインよりも一般化能力が高い。
• Few-shot SQL-PaLM は simple prompts で Spider において zero-shot の ChatGPT および few-shot の GPT-4 を上回り、難易度レベルをまたいでも競争力を維持する。
• baselines（RESDSQL-3B+NatSQL、RASAT+PICARD、PICARD、DIN-SQL、CodeX、GPT-4 など）と比較して、SQL-PaLM はトップまたはほぼトップの TS を、シンプルなプロンプト手法を用いて達成する。