[論文レビュー] A Preview of XiYan-SQL: A Multi-Generator Ensemble Framework for Text-to-SQL

Yingqi Gao, Yifu Liu+11 more|arXiv (Cornell University)|Nov 13, 2024

Advanced Computational Techniques and Applications被引用数 4

ひとこと要約

XiYan-SQL は、教師あり微調整とコンテキスト内学習を組み合わせることで、多様で高品質な SQL クエリ候補を生成するマルチジェネレータアンサンブルフレームワークである。M-Schema を導入してスキーマ表現を向上させ、エラーを是正するリファイナーと微調整された選択モデルを用いて最適なクエリを選別し、Spider で 89.65%、Bird で 72.23% の最先端の実行精度を達成した。

ABSTRACT

To tackle the challenges of large language model performance in natural language to SQL tasks, we introduce XiYan-SQL, an innovative framework that employs a multi-generator ensemble strategy to improve candidate generation. We introduce M-Schema, a semi-structured schema representation method designed to enhance the understanding of database structures. To enhance the quality and diversity of generated candidate SQL queries, XiYan-SQL integrates the significant potential of in-context learning (ICL) with the precise control of supervised fine-tuning. On one hand, we propose a series of training strategies to fine-tune models to generate high-quality candidates with diverse preferences. On the other hand, we implement the ICL approach with an example selection method based on named entity recognition to prevent overemphasis on entities. The refiner optimizes each candidate by correcting logical or syntactical errors. To address the challenge of identifying the best candidate, we fine-tune a selection model to distinguish nuances of candidate SQL queries. The experimental results on multiple dialect datasets demonstrate the robustness of XiYan-SQL in addressing challenges across different scenarios. Overall, our proposed XiYan-SQL achieves the state-of-the-art execution accuracy of 75.63% on Bird benchmark, 89.65% on the Spider test set, 69.86% on SQL-Eval, 41.20% on NL2GQL. The proposed framework not only enhances the quality and diversity of SQL queries but also outperforms previous methods.

研究の動機と目的

• 既存のテキストtoSQLモデルが、異なるデータベーススキーマにわたる一般化性能に欠ける点を是正する。
• M-Schema を導入し、階層的で部分構造的なスキーマ表現を提供することで、スキーマ理解を向上させる。
• 制御性を高めるための教師あり微調整と、多様性を確保するためのコンテキスト内学習を統合することで、推論のオーバーヘッドを低減し、精度を向上させる。
• 専用のリファイナーと微調整された選択モデルを用いて、最終出力の品質を向上させ、自己一貫性を上回る性能を実現する。
• リレーショナル（例：Spider、Bird）および非リレーショナル（例：NL2GQL）データベースにわたるフレームワークの堅牢性を検証する。

提案手法

• フレームワークは、2つの微調整済みSQLジェネレータと、GPT-4o を用いたコンテキスト内学習（ICL）ジェネレータを組み合わせたマルチジェネレータアンサンブル戦略を採用する。
• 多様なスタイル的嗜好と強化された意味理解を実現するため、2段階のマルチタスク訓練アプローチを適用してジェネレータを微調整する。
• M-Schema は、階層的かつコン act な形式でテーブル、カラム、データ型を含む部分構造的スキーマ表現を提供し、モデルの理解を向上させる。
• ICL 例は、質問のスケルトン類似度と名前付きエンティティマスキングに基づいて選択され、エンティティへの過剰な重み付けを回避し、一般化性能を向上させる。
• 各候補は、実行フィードバックやエラーサインलを用いて論理的・文法的誤りを是正するリファイナーによって修正される。
• 微調整された選択モデルは、候補間の微細な差異を識別できるように訓練され、最終的な精度を向上させるために自己一貫性を置き換える。

実験結果

リサーチクエスチョン

• RQ1 教師あり微調整とコンテキスト内学習を統合したマルチジェネレータアンサンブルフレームワークは、生成されるSQLクエリの品質と多様性を顕著に向上させることができるか？
• RQ2 提案された M-Schema 表現は、従来の DDL スキーマや MAC-SQL スキーマを上回り、LLM が複雑なデータベーススキーマを理解する能力を向上させるか？
• RQ3 微調整された選択モデルは、複数の出力から最良のSQLクエリを選択する際、自己一貫性を上回る性能を示すか？
• RQ4 スキーマリンク（関連するスキーマ要素をフィルタリングする手法）は、エンドツーエンドの実行精度にどのように影響を与えるか？
• RQ5 このアンサンブルフレームワークは、nGQL などの非リレーショナルシステムを含む多様なデータベースにどの程度一般化可能か？

主な発見

• XiYan-SQL は Spider テストセットで 89.65% の最先端の実行精度を達成し、先行手法を上回った。
• 挑戦的である Bird 発展ベンチマークでは 72.23% の実行精度を達成し、分布外のサンプルに対しても強力な一般化性能を示した。
• M-Schema の使用により、4つのLLM全体で DDL スキーマと比較して平均実行精度が 2.03% 向上した。特に GPT-4o と Claude 3.5 Sonnet が最も高い向上を示した。
• スキーマリンクにより、精度は 10.14% から 74.74% に上昇し、実行精度は 57.95% から 60.10% に上昇し、関連するスキーマ情報のフィルタリング効果が裏付けられた。
• アブレーションスタディの結果、微調整済みジェネレータ、ICLジェネレータ、リファイナー、選択モデルをそれぞれ削除すると、性能が著しく低下し、特に選択モデルを削除すると 2.74% の低下が生じた。
• 候補数を 3 つから 5 つに増加させることで、Bird での精度が 72.23% に向上し、候補の多様性とアンサンブル選択の利点が確認された。