[논문 리뷰] DTS-SQL: Decomposed Text-to-SQL with Small Large Language Models

Mohammadreza Pourreza, Davood Rafiei|arXiv (Cornell University)|2024. 02. 02.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 텍스트-스키마 링킹과 SQL 생성으로 분해하는 두 단계 미세조정 방법인 DTS-SQL을 제안한다. 이는 소형 7B LLM을 사용하여 구현되며, 단일 단계 미세조정 대비 실행 정확도를 3–7%p 향상시켜 오픈소스 모델이 GPT-4와 같은 프로prietary 모델의 성능을 따라잡을 수 있도록 한다.

ABSTRACT

Leading models for the text-to-SQL task heavily rely on proprietary Large Language Models (LLMs), posing concerns over data privacy. Closing the performance gap between small open-source models and large proprietary models is crucial to mitigate this reliance. To this end, we introduce a novel two-stage fine-tuning approach that decomposes the task into two simpler tasks. Through comprehensive evaluation on two large cross-domain datasets and two small LLMs, we show that this approach improves execution accuracy by 3 to 7 percent, effectively aligning the performance of open-source models with their proprietary counterparts.

연구 동기 및 목표

• 소형 오픈소스 LLM과 GPT-4와 같은 대규모 프로prietary 모델 간의 텍스트-스키마 성능 격차를 해소하기 위해.
• 기업 환경에서 프로prietary LLM을 사용함에 따른 개인정보 및 비용 문제를 해결하기 위해.
• 새로운 두 단계 미세조정 방법을 통해 소형 7B 파라미터 LLM의 다중 도메인 텍스트-스키마 벤치마크 성능을 향상시키기 위해.
• 분해된 훈련 방식이 자원이 제한된 환경에서 스키마 링킹 및 SQL 생성 정확도 향상에 기여하는지 입증하기 위해.
• Spider 및 Spider-SYN 데이터셋에서 기존에 미세조정된 오픈소스 모델을 능가하는 재현 가능한 오픈소스 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 두 단계 미세조정 파이프라인을 활용한다: 첫 번째로 질문과 스키마를 입력으로 받아 관련 데이터베이스 테이블을 예측하는 전용 모델을 훈련하고, 두 번째로 질문과 예측된 스키마를 입력으로 받아 최종 SQL 쿼리를 생성하는 별도의 모델을 훈련한다.
• 스키마 링킹은 자연어 질문과 데이터베이스 스키마를 입력으로 받는 미세조정된 LLM을 통해 수행되며, 관련된 테이블 이름의 집합을 출력한다.
• SQL 생성은 질문과 스키마 링커의 출력을 입력으로 받아 최종 SQL 쿼리를 생성하는 두 번째 미세조정된 LLM을 통해 수행된다.
• 이 방법은 질문-SQL 쌍에 대한 지도 미세조정(SFT)을 사용하며, 스키마 링커는 테이블 선택에 대해, SQL 생성기는 전체 쿼리 생성에 대해 훈련된다.
• 이 파이프라인은 스키마 링킹과 쿼리 생성에 대한 추론을 분리하여 각 모델의 인지 부담을 줄이고 전체 정확도를 향상시킨다.
• 이 방법은 두 개의 대규모 다중 도메인 벤치마크인 Spider와 Spider-SYN에서 평가되었으며, 두 개의 7B LLM인 Mistral과 DeepSeek를 사용하였다.

Figure 1: The prompt used for SQL generation. The database schema is where we put the tables representations.

실험 결과

연구 질문

• RQ1 텍스트-스키마를 스키마 링킹과 SQL 생성으로 두 단계로 분해하면 소형 오픈소스 LLM의 성능 향상에 기여하는가?
• RQ2 이 분해 방식을 사용할 경우 소형 7B 파라미터 LLM이 GPT-4 수준의 성능에 도달할 수 있는 정도는 어느 정도인가?
• RQ3 스키마 링킹 컴포넌트의 성능이 텍스트-스키마 파이프라인의 전체 실행 정확도에 미치는 영향은 어떠한가?
• RQ4 종합적인 미세조정 대비 작업을 분리함으로써 일반화 성능 향상과 오류 전파 감소가 이루어지는가?
• RQ5 이 방법이 Spider 및 Spider-SYN과 같은 표준 벤치마크에서 기존에 미세조정된 오픈소스 모델을 능가할 수 있는가?

주요 결과

• DTS-SQL 방법은 Spider 및 Spider-SYN 데이터셋에서 단일 단계 미세조정 대비 실행 정확도를 3~7%p 향상시켰다.
• Spider 개발 세트에서 이 방법은 DeepSeek 7B를 사용해 85.5%의 실행 정확도를 기록했으며, Mistral 7B를 사용해 78.6%를 기록하여 이전의 모든 오픈소스 미세조정 모델을 초월했다.
• 스키마 링킹 모델은 Spider에서 93.1%의 정확한 집합 매칭 정확도를, Spider-SYN에서는 87.6%를 기록하여 강력한 테이블 선택 성능를 입증했다.
• 이 방법은 소형 오픈소스 LLM만을 사용하면서도, GPT-4 기반 프롬프팅 기법인 DIN-SQL + GPT4(74.2% EX) 및 DAIL-SQL + GPT4(84.4% EX)와 유사한 성능을 달성했다.
• SQL 생성기의 상한 성능(이상의 정확도: Mistral 7B 기준 86.6% EX)은 더 나은 스키마 링킹이 가능할 경우 향상 여지가 있음을 시사한다.
• 결과적으로 작업 분해가 복잡한 텍스트-스키마 생성 작업에서 소형 LLM의 효과성을 크게 향상시킨다는 것이 입증되었다.

Figure 2: The prompt used for Schema linking. The database schema is where we put the tables representations.