[논문 리뷰] SQL-PaLM: Improved Large Language Model Adaptation for Text-to-SQL (extended)

Ruoxi Sun, Sercan Ö. Arık외 9명|arXiv (Cornell University)|2023. 05. 26.

Semantic Web and Ontologies인용 수 25

한 줄 요약

SQL-PaLM은 PaLM-2를 Text-to-SQL에 적용하여 few-shot 실행 기반 자기 일관성과 미세 조정을 사용하고, Spider에서 테스트-스위트 정확도에서 최첨단 성능을 달성하며 Spider 변형 전반에서 강건함을 보인다.

ABSTRACT

Text-to-SQL, the process of translating natural language into Structured Query Language (SQL), represents a transformative application of large language models (LLMs), potentially revolutionizing how humans interact with data. This paper introduces the SQL-PaLM framework, a comprehensive solution for understanding and enhancing Text-to-SQL using LLMs, using in the learning regimes of few-shot prompting and instruction fine-tuning. With few-shot prompting, we explore the effectiveness of consistency decoding with execution-based error filtering. With instruction fine-tuning, we delve deep in understanding the critical paradigms that influence the performance of tuned LLMs. In particular, we investigate how performance can be improved through expanded training data coverage and diversity, synthetic data augmentation, and integrating query-specific database content. We propose a test-time selection method to further refine accuracy by integrating SQL outputs from multiple paradigms with execution feedback as guidance. Additionally, we tackle the practical challenge of navigating intricate databases with a significant number of tables and columns, proposing efficient techniques for accurately selecting relevant database elements to enhance Text-to-SQL performance. Our holistic approach yields substantial advancements in Text-to-SQL, as demonstrated on two key public benchmarks, Spider and BIRD. Through comprehensive ablations and error analyses, we shed light on the strengths and weaknesses of our framework, offering valuable insights into Text-to-SQL's future work.

연구 동기 및 목표

• PaLM-2를 활용하여 few-shot 프롬프트와 미세 조정 모두에서 LLM들을 이용해 Text-to-SQL에 대한 동기 부여와 접근을 제시한다.
• few-shot SQL 생성을 개선하기 위한 실행 기반 자기 일관성 접근법을 도입한다.
• 대형 LLM을 Spider 데이터에 대해 미세 조정하고 Spider 변형에서의 분포 변화에 대한 강인성을 평가한다.
• 문맥 내 학습과 미세 조정된 SOTA 방법들에 대한 강력한 기준선과 비교한다.
• 프롬프트 설계 선택과 자기 일관성, 실행 필터링, 모델 적응 간의 상호 작용을 분석한다.

제안 방법

• Few-shot와 fine-tuned 설정 모두에서 Text-to-SQL의 백본으로 PaLM-2를 채택한다.
• 일관된 실행 결과를 가진 SQL을 선택하기 위해 few-shot 프롬프트용 실행 기반 자기 일관성 디코딩 스킴을 설계한다.
• 데이터베이스 스키마와 자연어 질의가 포함된 Spider 학습 데이터에 PaLM-2를 미세 조정해 목표 SQL을 산출한다.
• Spider 및 그 변형에서 실행 정확도(EX)와 테스트-스위트 정확도(TS)로 평가한다.
• 자기 일관성, 실행 필터링, 프롬프트 설계가 성능에 미치는 영향을 측정하기 위한 제거 실험을 수행한다.
• Few-shot SQL-PaLM과 Fine-tuned SQL-PaLM을 PICARD, RASAT, RESDSQL 및 다양한 문맥 내 학습 프롬프트를 포함한 기준선들과 비교한다.

실험 결과

연구 질문

• RQ1 Few-shot SQL-PaLM이 실행 기반 자기 일관성과 함께 Text-to-SQL에서 최첨단 미세 조정 및 문맥 내 학습 방법과 비교하여 어떤 성능을 보이는가?
• RQ2 실행 필터링과 자기 일관성이 SQL-PaLM의 정확도에 어떤 영향을 미치는가?
• RQ3 Spider 데이터에 PaLM-2를 미세 조정하는 것이 Spider 변형에 대한 강인성과 일반화에 있어 Few-shot 프롬 prompting과 어떻게 비교되는가?
• RQ4 SQL-PaLM은 SQL 생성의 다른 프롬트 설계와 난이도에서 성능을 유지하는가?

주요 결과

• Few-shot SQL-PaLM은 Spider dev에서 77.3% TS를 달성하여 fine-tuned SOTA보다 3.8%p, in-context learning SOTA보다 3.1%p 더 높은 성능을 보인다.
• Fine-tuned SQL-PaLM은 Spider dev에서 78.2% TS를 달성하여 이전의 fine-tuned SOTA보다 4.7%p 향상되었다.
• Ablations를 통해 자기 일관성 및 실행 필터링이 성능을 크게 높이며, 이를 제거하면 TS가 저하된다.
• SQL-PaLM은 Spider 변형(Spider-SYN, Spider-Realistic, Spider-DK)에서 강한 강건성을 보여주며 기준선 대비 더 나은 일반화를 보인다.
• Few-shot SQL-PaLM은 간단한 프롬프트에서 제로샷 ChatGPT 및 Few-shot GPT-4보다 Spider에서 우수하며 난이도에 관계없이 경쟁력을 유지한다.
• 기준선(RESDSQL-3B+NatSQL, RASAT+PICARD, PICARD, DIN-SQL, CodeX, GPT-4 등)과 비교 시, SQL-PaLM은 간단한 프롟트를 사용하면서도 최고 혹은 거의 최고 수준의 TS를 달성한다.