[論文レビュー] CHESS: Contextual Harnessing for Efficient SQL Synthesis

Shayan Talaei, Mohammadreza Pourreza+3 more|arXiv (Cornell University)|May 27, 2024

Service-Oriented Architecture and Web Services被引用数 5

ひとこと要約

CHESS はテキストからSQLへのエンドツーエンドのLLMベースのパイプラインを提示し、文脈を取得し、スキーマを絞り、SQLを生成する。BIRDデータセットで最先端の結果を達成し、Spiderでオープンソースのパフォーマンスも堅調。

ABSTRACT

Translating natural language questions into SQL queries, known as text-to-SQL, is a long-standing research problem. Effective text-to-SQL synthesis can become very challenging due to (i) the extensive size of database catalogs (descriptions of tables and their columns) and database values, (ii) reasoning over large database schemas, (iii) ensuring the functional validity of the generated queries, and (iv) navigating the ambiguities of natural language questions. We introduce CHESS, a Large Language Model (LLM) based multi-agent framework for efficient and scalable SQL synthesis, comprising four specialized agents, each targeting one of the aforementioned challenges: the Information Retriever (IR) extracts relevant data, the Schema Selector (SS) prunes large schemas, the Candidate Generator (CG) generates high-quality candidates and refines queries iteratively, and the Unit Tester (UT) validates queries through LLM-based natural language unit tests. Our framework offers configurable features that adapt to various deployment constraints, including 1) Supporting industrial-scale databases: leveraging the Schema Selector agent, CHESS efficiently narrows down very large database schemas into manageable sub-schemas, boosting system accuracy by approximately $2\%$ and reducing the number of LLM tokens by $ imes 5$. 2) State-of-the-Art privacy-preserving performance: Among the methods using open-source models, CHESS achieves state-of-the-art performance, resulting in a high-performing, privacy-preserving system suitable for industrial deployment. 3) Scalablity with additional compute budget: In settings with high computational budgets, CHESS achieves $71.10\%$ accuracy on the BIRD test set, within $2\%$ of the leading proprietary method, while requiring approximately $83\%$ fewer LLM calls.

研究の動機と目的

• 大規模なスキーマとカタログを含む実世界データベースに対して、自然言語の質問をSQLに翻訳する課題に対処する。
• データベースの値とカタログをSQL生成に組み込むためのスケーラブルな検索機構を開発する。
• SQLジェネレータへの入力を削減する効率的なスキーマ剪定法を提案する。
• アブレーション研究とオープンソースおよび専有モデルとの比較を通じて、エンドツーエンドの性能向上を示す。

提案手法

• 3段階のパイプライン：エンティティ/コンテキスト取得、スキーマ選択、SQL生成。
• キーワード抽出、局所感度ハッシュ（LSH）、ベクトルデータベースを用いた階層的検索で、関連する値とカタログ記述を取得する。
• 適応的で多段階のスキーマ剪定（列のフィルタリング、テーブル選択、最終列の選択）を行い、最小限の十分なスキーマを得る。
• 候補SQLの生成に続き、モデルのフィードバックと自己整合性を用いた修正で、最も頻繁に正しい回答を選択する。
• 制限されたコンテキスト窓内での効率的な検索を可能にするため、値のLSHインデックス作成とカタログのベクトルデータベースによる前処理。

実験結果

リサーチクエスチョン

• RQ1 実世界データベースにおける値の取得とカタログメタデータの検索が、テキストからSQLへの精度をどのように改善できるだろうか？
• RQ2 適応的なスキーマ剪定は、正しいSQL生成に必要な情報を保持しつつ入力サイズを削減できるのだろうか？
• RQ3 検索、剪定、生成モジュールの組み合わせが、従来のアプローチと比べてエンドツーエンドのSQL精度に与える影響はどうか？
• RQ4 BIRDやSpiderのような難易度の高いベンチマークに対して、オープンソースと専有LLMの組み合わせでCHESSはどのように性能を発揮するか？

主な発見

手法	test EX	dev EX
CHESS + proprietary (ours)	66.69	65.00
MCS-SQL + GPT-4	65.45	63.36
CHESS + Open LLMs (ours)	–	61.50
SFT CodeS-15B	60.37	58.47
DTS-SQL + DeepSeek 7B	60.31	55.80
MAC-SQL + GPT-4	57.56	59.59

• CHESS は専有モデルを用いて BIRD の開発セットおよびテストセットで最先端の実行精度を達成：65.00% dev EX および 66.69% test EX。
• オープンLLMsを用いるCHESSは、オープン手法の中で最も高いオープンソース性能をBIRD開発で達成、61.5% EX。
• SpiderテストセットでCHESSは87.2% EXを達成し、報告された比較で公表済み手法の中で2位にランクされる。
• アブレーション研究では、エンティティ/コンテキスト取得モジュールが約5%の精度向上に寄与し、テーブル選択と修正ステップが性能に大きく影響することを示した。
• プライバシー保護デプロイメントを備えたエンドツーエンドのオープンソースCHESSパイプラインは強力な成果を示し、クローズドソース手法とのギャップを縮小する。