[論文レビュー] DTS-SQL: Decomposed Text-to-SQL with Small Large Language Models

Mohammadreza Pourreza, Davood Rafiei|arXiv (Cornell University)|Feb 2, 2024

Scientific Computing and Data Management被引用数 4

ひとこと要約

本稿では、テキストからSQLへの変換をスキーマリンクとSQL生成に分解する二段階のファインチューニング手法DTS-SQLを提案する。7Bパラメータの小規模なLLMを用いて、単一ステップのファインチューニングに比べて実行精度を3–7ポイント向上させ、オープンソースモデルがGPT-4などのプロプライエタリモデルと同等の性能を達成することを可能にする。

ABSTRACT

Leading models for the text-to-SQL task heavily rely on proprietary Large Language Models (LLMs), posing concerns over data privacy. Closing the performance gap between small open-source models and large proprietary models is crucial to mitigate this reliance. To this end, we introduce a novel two-stage fine-tuning approach that decomposes the task into two simpler tasks. Through comprehensive evaluation on two large cross-domain datasets and two small LLMs, we show that this approach improves execution accuracy by 3 to 7 percent, effectively aligning the performance of open-source models with their proprietary counterparts.

研究の動機と目的

• 小規模なオープンソースLLMとGPT-4のような大規模なプロプライエタリモデルとの間のテキストからSQLへのタスクにおける性能格差を埋める。
• 企業環境におけるプロプライエタリLLMの使用に伴うプライバシーとコストの懸念を解決する。
• 新規の二段階ファインチューニングアプローチを用いて、小規模な7BパラメータLLMのクロスドメインテキストからSQLベンチマークにおける性能を向上させる。
• 分解されたトレーニングが、リソースが限られた環境下でもスキーマリンクとSQL生成の両方の精度を向上させることを示す。
• SpiderおよびSpider-SYNデータセットで、既存のファインチューニング済みオープンソースモデルを上回る再現可能でオープンソースのソリューションを提供する。

提案手法

• 本手法は、二段階のファインチューニングパイプラインを採用する。まず、質問とスキーマを入力として受け取り、関連するデータベーステーブルを予測する専用モデルを訓練し、次に、別々のモデルで質問と予測されたスキーマを入力として受け取り、最終的なSQLクエリを生成する。
• スキーマリンクは、自然言語の質問とデータベーススキーマを入力とし、関連するテーブル名の集合を出力するファインチューニング済みLLMを用いて実施される。
• SQL生成は、質問とスキーマリンクの出力を入力として受け取り、最終的なSQLクエリを生成する第二のファインチューニング済みLLMを用いて実施される。
• 本手法は、質問-SQLペアを用いた教師ありファインチューニング（SFT）を採用しており、スキーマリンクはテーブル選択、SQL生成は完全なクエリ生成のタスクで訓練される。
• パイプラインは、スキーマリンクとクエリ生成のための推論を分離することで、各モデルの認知的負荷を軽減し、全体の精度を向上させる。
• 本手法は、二つの大規模なクロスドメインベンチマーク、SpiderおよびSpider-SYNで評価され、MistralとDeepSeekの二つの7BパラメータLLMが使用されている。

Figure 1: The prompt used for SQL generation. The database schema is where we put the tables representations.

実験結果

リサーチクエスチョン

• RQ1 テキストからSQLへのタスクをスキーマリンクとSQL生成に二段階で分解することで、小規模なオープンソースLLMの性能を向上させることができるか？
• RQ2 この分解アプローチを用いることで、小規模な7BパラメータLLMがGPT-4に匹敵する性能を達成できるか、その程度はどの程度か？
• RQ3 スキーマリンク部の性能が、テキストからSQLへのパイプライン全体の実行精度にどのように影響するか？
• RQ4 エンドツーエンドのファインチューニングと比較して、タスクを分離することで一般化性能が向上し、誤りの伝搬が抑制されるか？
• RQ5 この手法は、SpiderやSpider-SYNといった標準ベンチマークで、既存のファインチューニング済みオープンソースモデルを上回ることができるか？

主な発見

• DTS-SQL手法は、SpiderおよびSpider-SYNデータセットの両方で、単一ステップのファインチューニングに比べて実行精度が3〜7ポイント向上している。
• Spider開発セットでは、DeepSeek 7Bを用いて85.5%の実行精度を達成し、Mistral 7Bでは78.6%を記録しており、これらはすべての先行オープンソースファインチューニング済みモデルを上回っている。
• スキーマリンクモデルは、Spiderで93.1%のエクサクトセットマッチ精度、Spider-SYNでは87.6%を達成しており、優れたテーブル選択性能を示している。
• 小規模なオープンソースLLMのみを用いても、GPT-4ベースのプロンプティング技術（例：DIN-SQL + GPT4（74.2% EX）、DAIL-SQL + GPT4（84.4% EX））と同等の性能を達成している。
• SQL生成器の上限性能（Mistral 7Bを用いて86.6% EX）は、より良いスキーマリンクがあればさらなる向上が可能であることを示している。
• 結果から、タスクの分解が、複雑なテキストからSQL生成タスクにおける小規模LLMの有効性を顕著に向上させることを示している。

Figure 2: The prompt used for Schema linking. The database schema is where we put the tables representations.