[論文レビュー] Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL

Zijin Hong, Zheng Yuan+5 more|arXiv (Cornell University)|Jun 12, 2024

Advanced Computational Techniques and Applications被引用数 11

ひとこと要約

本調査はLLMベースの text-to-SQL を網羅的に検討し、課題、データセット、評価指標、手法（ICL と FT）、モデル、今後の方向性を扱う。

ABSTRACT

Generating accurate SQL from users' natural language questions (text-to-SQL) remains a long-standing challenge due to the complexities involved in user question understanding, database schema comprehension, and SQL generation. Traditional text-to-SQL systems, which combine human engineering and deep neural networks, have made significant progress. Subsequently, pre-trained language models (PLMs) have been developed for text-to-SQL tasks, achieving promising results. However, as modern databases and user questions grow more complex, PLMs with a limited parameter size often produce incorrect SQL. This necessitates more sophisticated and tailored optimization methods, which restricts the application of PLM-based systems. Recently, large language models (LLMs) have shown significant capabilities in natural language understanding as model scale increases. Thus, integrating LLM-based solutions can bring unique opportunities, improvements, and solutions to text-to-SQL research. In this survey, we provide a comprehensive review of existing LLM-based text-to-SQL studies. Specifically, we offer a brief overview of the technical challenges and evolutionary process of text-to-SQL. Next, we introduce the datasets and metrics designed to evaluate text-to-SQL systems. Subsequently, we present a systematic analysis of recent advances in LLM-based text-to-SQL. Finally, we make a summarization and discuss the remaining challenges in this field and suggest expectations for future research directions. All the related resources of LLM-based, including research papers, benchmarks, and open-source projects, are collected for the community in our repository: https://github.com/DEEP-PolyU/Awesome-LLM-based-Text2SQL.

研究の動機と目的

• text-to-SQL の基本的な課題と LLМベースのアプローチの動機を導入する。
• text-to-SQL システムを評価するために用いられるデータセットとベンチマークを調査し、その特徴を分類する。
• 評価指標と、ルールベースからLLMベースのアプローチへの実装パラダイムの進化を検討する。
• LLMベースの手法を系統的に分析し、将来の研究の方向性を提示する。

提案手法

• text-to-SQL の進化を、ルールベースの手法から PLMs および LLMs へと概説する。
• クロスドメイン、知識拡張、文脈依存性、頑健性、クロスリンガル設定を含むデータセットとベンチマークの分類を提供する。
• 評価指標を要約する：コンポーネントマッチング、エクザクトマッチ、実行正確性、そして有効性効率スコア。
• インコンテキスト学習とファインチューニングのパラダイムを分類し、それらの代表的手法を議論する。
• プロンプト設計、分解、推論強化、実行の精緻化における設計上の選択肢を論じる。
• 将来の課題と潜在的な研究方向を強調する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースの text-to-SQL を評価する際に最も関連性の高いデータセットとベンチマークは何か、そしてそれらの特徴が評価にどう影響するか。
• RQ2 どの評価指標が LLMベースの text-to-SQL システムの性能を最も適切に捉え、実務上の正確性と効率性とどのように関連するか。
• RQ3 text-to-SQL におけるインコンテキスト学習とファインチューニングの主要な手法カテゴリは何で、それぞれのトレードオフは何か。
• RQ4 LLMs を用いた堅牢さ・クロスドメイン・多言語対応の text-to-SQL に残る課題は何か、そして今後有望な方向性は何か。

主な発見

• LLMs は text-to-SQL に対する強力な意味解析能力を提供し、最先端の成果の中心となっている。
• この分野は ルールベースのシステムから深層学習、PLMs、そして現在はインコンテキスト学習とファインチューニングを用いた LLМ ベースの実装へと進化している。
• Spider、CoSQL、SParC、WikiSQL、BIRD などのデータセットは中心的なベンチマークであり、クロスドメイン、知識拡張、文脈、頑健性、クロスリンガル設定に対応する拡張がある。
• 評価は内容一致指標（Component Matching と Exact Matching）と実行ベースの指標（Execution Accuracy と Valid Efficiency Score）に依存する。
• プロンプト設計と構造化プロンプトは、テキスト-to-SQL における LLM の性能に大きく影響し、分解、プロンプト最適化、推論、実行の精緻化を強化するいくつかの分類手法がある。
• 進展にもかかわらず、頑健性、クロスドメイン一般化、効率性、データプライバシー、現実世界での展開における課題は残っている。