[論文レビュー] Track-SQL: Enhancing Generative Language Models with Dual-Extractive Modules for Schema and Context Tracking in Multi-turn Text-to-SQL

Bingfeng Chen, Shaobin Shi+4 more|arXiv (Cornell University)|Mar 6, 2026

Topic Modeling被引用数 0

ひとこと要約

Track-SQL は二重抽出モジュールを導入し、スキーマを動的にリンクし、多ターンの Text-to-SQL で文脈を抽出。SparC および CoSQL データセットで最先端の結果を達成。マルチターン実行精度の顕著な向上と、各コンポーネントの貢献を確認するアブレーションを提供。

ABSTRACT

Generative language models have shown significant potential in single-turn Text-to-SQL. However, their performance does not extend equivalently to multi-turn Text-to-SQL. This is primarily due to generative language models' inadequacy in handling the complexities of context information and dynamic schema linking in multi-turn interactions. In this paper, we propose a framework named Track-SQL, which enhances generative language models with dual-extractive modules designed to track schema and contextual changes in multi-turn Text-to-SQL. Specifically, Track-SQL incorporates a \emph{Semantic-enhanced Schema Extractor} and a \emph{Schema-aware Context Extractor}. Experimental results demonstrate that Track-SQL achieves state-of-the-art performance on the SparC and CoSQL datasets. Furthermore, detailed ablation studies reveal that Track-SQL significantly improves execution accuracy in multi-turn interactions by 7.1\% and 9.55\% on these datasets, respectively. Our implementation will be open-sourced at https://github.com/DMIRLAB-Group/Track-SQL.

研究の動機と目的

• 単一ターンの Text-to-SQL の性能低下を、マルチターンダイアログへ移行する際に対処する。
• 進化する対話文脈を扱う動的スキーマリンク機構を開発する。
• 現在の SQL 生成のために関連する過去のクエリを選択する文脈抽出モジュールを設計する。
• extractor の出力を SQL ジェネレータに透明にすることで explainability を向上させる。
• SparC と CoSQL で最先端の性能を、アブレーション研究で実証する。

提案手法

• トラック-SQL フレームワークを、Semantic-enhanced Schema Extractor（SESE）と Schema-aware Context Extractor（SACE）の二つの extractor で提案する。
• SESE はオープンドメインの知識とゲーティング機構を用いてスキーマ意味を強化し、表と列の埋め込みを強化する。
• SACE は意味的類似性（SentenceBERT）とスキーマ使用に基づく Jensen-Shannon 距離を用いて関連する過去の SQL クエリを取得・スコア付けし、生成の基底プロンプトを選択する。
• 抽出されたスキーマと基底 SQL を過去の質問と組み合わせて、SQL ジェネレータの教師付きファインチューニング用のプロンプト情報を形成する。
• 複数ターンのデータを、質問を連結し E(S) と SQL_base をプロンプト文脈として提供することで、単一ターン風の訓練サンプルへ変換する。
• LoRA を用いて 7B スケールのモデル（CodeLlama、DeepSeek、Mistral）をファインチューニングし、SparC と CoSQL データセットで評価する。

Figure 1: The overall framework of Dual-Extractive Modules for Schema and Context Tracking. The framework trains a schema item classification model and an SQL generator. Based on the former, we construct a Semantic-enhanced Schema Extractor and a Schema-aware Context Extractor . The extraction resul

実験結果

リサーチクエスチョン

• RQ1 動的スキーマリンクをターン間で効果的に更新して冗長性と誤リンクを減らすにはどうすればよいか。
• RQ2 関連する過去のクエリを活用して、文脈認識検索機構がマルチターンの SQL 生成を改善できるか。
• RQ3 スキーマ項目の意味的強化がスキーマ項目の抽出と下流の SQL の正確さに与える影響は。
• RQ4 Track-SQL アプローチは、単一ターンとマルチターンの両方の設定で SparC および CoSQL の最先端の結果を達成するか。

主な発見

• Track-SQL は、SparC および CoSQL の検証セットで、従来のインコンテキスト学習とファインチューニング法と比較してリーディング結果を達成した。
• アブレーション研究は、SESE または SACE を削除すると QM/IM および EX/TS 指標が劣化し、それぞれの貢献を確認できる。
• SESE は特に CoSQL で、スキーマ抽出の冗長性を大幅に削減し、局在化精度を向上させる。
• SACE は過去の文脈の使用を堅牢に提供し、構文的エラーチェックを行って伝播を防ぎ、マルチターンの SQL 生成の安定性を高める。
• 全体として、Track-SQL は ablations において SparC で約 7%、CoSQL で約 9.6% のマルチターン実行精度の改善を示し、リアルタイムシステムに適したエンドツーエンドの待機時間を提供する。

Figure 2: The results of the ablation study on the Codellama 7B+Track-SQL model on the SparC and CoSQL dev sets (calculated using the multi-turn TS metrics).