[논문 리뷰] Next-Generation Database Interfaces: A Survey of LLM-based Text-to-SQL

Zijin Hong, Zheng Yuan외 5명|arXiv (Cornell University)|2024. 06. 12.

Advanced Computational Techniques and Applications인용 수 11

한 줄 요약

이 설문조사는 LLM 기반 텍스트-대-SQL을 포괄적으로 검토하며, 도전과제, 데이터셋, 평가 지표, 방법(ICL 및 FT), 모델 및 향후 방향을 다룬다.

ABSTRACT

Generating accurate SQL from users' natural language questions (text-to-SQL) remains a long-standing challenge due to the complexities involved in user question understanding, database schema comprehension, and SQL generation. Traditional text-to-SQL systems, which combine human engineering and deep neural networks, have made significant progress. Subsequently, pre-trained language models (PLMs) have been developed for text-to-SQL tasks, achieving promising results. However, as modern databases and user questions grow more complex, PLMs with a limited parameter size often produce incorrect SQL. This necessitates more sophisticated and tailored optimization methods, which restricts the application of PLM-based systems. Recently, large language models (LLMs) have shown significant capabilities in natural language understanding as model scale increases. Thus, integrating LLM-based solutions can bring unique opportunities, improvements, and solutions to text-to-SQL research. In this survey, we provide a comprehensive review of existing LLM-based text-to-SQL studies. Specifically, we offer a brief overview of the technical challenges and evolutionary process of text-to-SQL. Next, we introduce the datasets and metrics designed to evaluate text-to-SQL systems. Subsequently, we present a systematic analysis of recent advances in LLM-based text-to-SQL. Finally, we make a summarization and discuss the remaining challenges in this field and suggest expectations for future research directions. All the related resources of LLM-based, including research papers, benchmarks, and open-source projects, are collected for the community in our repository: https://github.com/DEEP-PolyU/Awesome-LLM-based-Text2SQL.

연구 동기 및 목표

• 텍스트-대-SQL의 기본 도전과제와 LLM 기반 접근의 동기를 소개한다.
• 텍스트-대-SQL 시스템을 평가하는 데 사용되는 데이터셋과 벤치마크를 조사하고 그 특성을 분류한다.
• 평가 지표와 규칙 기반에서 LLM 기반 접근으로의 구현 패러다임 진화를 검토한다.
• LLM 기반 방법을 체계적으로 분석하고 향후 연구 방향을 제시한다.

제안 방법

• 규칙 기반 방법에서 PLMs 및 LLMs으로의 텍스트-대-SQL 진화를 개요한다.
• 교차 도메인, 지식 보강, 맥락 의존성, 강건성, 다국어 설정을 포함한 데이터셋과 벤치마크의 분류 체계를 제공한다.
• 구성 요소 매칭, 정확 매칭, 실행 정확도, 그리고 유효한 효율 점수를 요약한다.
• In-context learning과 fine-tuning 패러다임을 분류하고 대표 방법을 논의한다.
• 프롬프트 설계, 분해, 추론 강화, 실행 정제의 설계 선택에 대해 논의한다.
• 미래의 도전 과제와 잠재적 연구 방향을 강조한다.

실험 결과

연구 질문

• RQ1 LLM 기반 텍스트-대-SQL 평가에 가장 관련성이 높은 데이터셋과 벤치마크는 무엇이며, 이들의 특성이 평가에 어떠한 영향을 미치는가?
• RQ2 어떤 평가 지표가 LLM 기반 텍스트-대-SQL 시스템의 성능을 가장 잘 포착하며, 실용적 정확도와 효율성과 어떤 관련이 있는가?
• RQ3 텍스트-대-SQL의 in-context learning 및 fine-tuning에서의 핵심 방법론 범주는 무엇이며, 어떤 절충점이 있는가?
• RQ4 강건성, 교차 도메인 및 다국어 텍스트-대-SQL을 위한 남은 도전 과제는 무엇이며, 향후 방향은 무엇이 유망한가?

주요 결과

• LLMs는 텍스트-대-SQL에 대한 강력한 의미 분석 능력을 제공하며 최첨단 결과의 중심이 되었다.
• 이 분야는 규칙 기반 시스템에서 딥 러닝, PLMs, 그리고 이제는 in-context learning과 fine-tuning이 결합된 LLM 기반 구현으로 진화했다.
• Spider, CoSQL, SParC, WikiSQL, 및 BIRD와 같은 데이터셋이 중심 벤치마크이며, 교차 도메인, 지식 증강, 맥락, 강건성 및 다국어 설정에 대한 확장이 있다.
• 평가는 구성 요소 매칭(Components Matching)과 정확 매칭(Exact Matching), 실행 기반 지표(Execution Accuracy)와 유효 효율 점수(Valid Efficiency Score)를 사용한다.
• 프롬프트 설계와 구조적 프롬프트가 텍스트-대-SQL에서 LLM 성능에 큰 영향을 주며, 분해, 프롬프트 최적화, 추론 강화 및 실행 정제를 강화하는 다양한 방법이 있다.
• 진전에도 불구하고 강건성, 교차 도메인 일반화, 효율성, 데이터 프라이버시 및 실제 배포에서의 도전 과제가 남아 있다.