[논문 리뷰] Track-SQL: Enhancing Generative Language Models with Dual-Extractive Modules for Schema and Context Tracking in Multi-turn Text-to-SQL

Bingfeng Chen, Shaobin Shi외 4명|arXiv (Cornell University)|2026. 03. 06.

Topic Modeling인용 수 0

한 줄 요약

Track-SQL은 다중턴 Text-to-SQL에서 스키마를 동적으로 연결하고 맥락을 추출하기 위한 이중 추출 모듈을 도입하여 SparC와 CoSQL 데이터셋에서 최첨단 성능을 달성한다. 다중턴 실행 정확도에서 눈에 띄는 향상을 보이며, 각 구성 요소의 기여를 확인하는 제거 실험(ablation)을 제시한다.

ABSTRACT

Generative language models have shown significant potential in single-turn Text-to-SQL. However, their performance does not extend equivalently to multi-turn Text-to-SQL. This is primarily due to generative language models' inadequacy in handling the complexities of context information and dynamic schema linking in multi-turn interactions. In this paper, we propose a framework named Track-SQL, which enhances generative language models with dual-extractive modules designed to track schema and contextual changes in multi-turn Text-to-SQL. Specifically, Track-SQL incorporates a \emph{Semantic-enhanced Schema Extractor} and a \emph{Schema-aware Context Extractor}. Experimental results demonstrate that Track-SQL achieves state-of-the-art performance on the SparC and CoSQL datasets. Furthermore, detailed ablation studies reveal that Track-SQL significantly improves execution accuracy in multi-turn interactions by 7.1\% and 9.55\% on these datasets, respectively. Our implementation will be open-sourced at https://github.com/DMIRLAB-Group/Track-SQL.

연구 동기 및 목표

• 단일 회전(Text-to-SQL) 성능이 다중 턴 대화로 확장될 때 감소하는 문제를 해결한다.
• 진화하는 대화 맥락을 처리하기 위한 동적 스키마 연결 메커니즘을 개발한다.
• 현재 SQL 생성을 위한 관련 이력 질의 선택을 위한 맥락 추출 모듈을 설계한다.
• 추출기의 출력물을 SQL 생성기에 투명하게 만들어 설명 가능성을 향상시킨다.
• ablation 연구를 통해 SparC와 CoSQL에서 최첨단 성능을 입증한다.

제안 방법

• Track-SQL 프레임워크가 두 추출기: Semantic-enhanced Schema Extractor (SESE)와 Schema-aware Context Extractor (SACE)이라는 구성으로 제안된다.
• SESE는 오픈 도메인 지식과 게이팅 메커니즘으로 스키마 의미를 강화하고 향상된 테이블 및 컬럼 임베딩을 생성한다.
• SACE는 의미적 유사도(SentenceBERT) 및 스키마 사용에 대한 Jensen-Shannon 발산을 이용하여 관련 과거 SQL 질의를 검색하고 점수를 매겨 생성의 기초 프롬프트를 선택한다.
• 추출된 스키마와 기본 SQL을 과거 질문과 결합하여 SQL 생성기 감독 학습 미세 조정을 위한 프롬프트 정보를 형성한다.
• 질문을 연결하고 E(S)와 SQL_base를 프롬프트 맥락으로 제공하여 다turn 데이터를 단일 턴과 유사한 학습 인스턴스로 변환한다.
• LoRA를 이용해 7B-scale 모델(CodeLlama, DeepSeek, Mistral)을 미세 조정하고 SparC 및 CoSQL 데이터셋에서 평가한다.

Figure 1: The overall framework of Dual-Extractive Modules for Schema and Context Tracking. The framework trains a schema item classification model and an SQL generator. Based on the former, we construct a Semantic-enhanced Schema Extractor and a Schema-aware Context Extractor . The extraction resul

실험 결과

연구 질문

• RQ1 다이나믹 스키마 링킹을 턴 간에 어떻게 효과적으로 업데이트하여 중복 및 잘못 연결을 줄일 수 있을까?
• RQ2 맥락 인식 검색 메커니즘이 관련 과거 질의를 활용하여 다중 턴 SQL 생성을 개선할 수 있을까?
• RQ3 스키마 항목의 의미적 향상이 스키마 항목 추출 및 다운스트림 SQL 정확도에 미치는 영향은 무엇인가?
• RQ4 Track-SQL 접근법이 단일 턴과 다중 턴 설정 모두에서 SparC 및 CoSQL 벤치마크에서 최첨단 성능을 달성하는가?

주요 결과

• Track-SQL은 이전의 컨텍스트 내 학습 및 미세 조정 방법과 비교하여 SparC 및 CoSQL 검증 세트에서 선도적 결과를 달성한다.
• 아블레이션 연구는 SESE 또는 SACE를 제거하면 QM/IM 및 EX/TS 지표가 저하됨을 보여주며, 각 구성 요소의 기여를 확인한다.
• SESE는 특히 CoSQL에서 스키마 추출의 중복을 크게 줄이고 위치 식별 정확도를 향상시킨다.
• SACE는 구문 오류 점검으로 전파를 방지하는 강건한 과거 맥락 활용을 제공하여 다중 턴 SQL 생성의 안정성을 향상시킨다.
• 전반적으로 Track-SQL은 ablation에서 SparC에서 약 7%, CoSQL에서 9.6%의 다중 턴 실행 정확도 향상을 보이고, 실시간 시스템에 적합한 엔드-투-엔드 지연 시간을 제공한다.

Figure 2: The results of the ablation study on the Codellama 7B+Track-SQL model on the SparC and CoSQL dev sets (calculated using the multi-turn TS metrics).