[논문 리뷰] A Preview of XiYan-SQL: A Multi-Generator Ensemble Framework for Text-to-SQL

Yingqi Gao, Yifu Liu외 11명|arXiv (Cornell University)|2024. 11. 13.

Advanced Computational Techniques and Applications인용 수 4

한 줄 요약

XiYan-SQL은 텍스트-SQL 번역에서 다양하고 고품질의 SQL 후보를 생성하기 위해 지도 미세조정과 인라인 학습을 결합한 다중 생성기 앙상블 프레임워크이다. M-Schema를 도입하여 스키마 표현을 향상시키며, 오류를 수정하고 최적의 쿼리를 선택하기 위해 리파이너와 미세조정된 선택 모델을 활용하여 Spider에서 SOTA 수준의 실행 정확도 89.65%와 Bird에서 72.23%를 달성한다.

ABSTRACT

To tackle the challenges of large language model performance in natural language to SQL tasks, we introduce XiYan-SQL, an innovative framework that employs a multi-generator ensemble strategy to improve candidate generation. We introduce M-Schema, a semi-structured schema representation method designed to enhance the understanding of database structures. To enhance the quality and diversity of generated candidate SQL queries, XiYan-SQL integrates the significant potential of in-context learning (ICL) with the precise control of supervised fine-tuning. On one hand, we propose a series of training strategies to fine-tune models to generate high-quality candidates with diverse preferences. On the other hand, we implement the ICL approach with an example selection method based on named entity recognition to prevent overemphasis on entities. The refiner optimizes each candidate by correcting logical or syntactical errors. To address the challenge of identifying the best candidate, we fine-tune a selection model to distinguish nuances of candidate SQL queries. The experimental results on multiple dialect datasets demonstrate the robustness of XiYan-SQL in addressing challenges across different scenarios. Overall, our proposed XiYan-SQL achieves the state-of-the-art execution accuracy of 75.63% on Bird benchmark, 89.65% on the Spider test set, 69.86% on SQL-Eval, 41.20% on NL2GQL. The proposed framework not only enhances the quality and diversity of SQL queries but also outperforms previous methods.

연구 동기 및 목표

• 기존 텍스트-SQL 모델이 다양한 고품질의 SQL 쿼리를 생성하고 다양한 데이터베이스 스키마에 대해 강력한 일반화 능력을 갖추지 못하는 데서 비롯된 한계를 해결하기 위해.
• LLM 성능 향상을 위해 계층적이고 구조화된 형태로 표현된 M-Schema라는 반구조적 스키마 표현 방식을 도입하여 스키마 이해를 향상시키기 위해.
• 제어력을 확보하기 위해 지도 미세조정을, 다양성을 확보하기 위해 인라인 학습을 조합하여 추론 오버헤드를 줄이고 정확도를 향상시키기 위해.
• 자기 일관성보다 우수한 성능을 보이는 전용 리파이너와 미세조정된 선택 모델을 통해 최종 출력 품질을 향상시키기 위해.
• 관계형(예: Spider, Bird) 및 비관계형(예: NL2GQL) 데이터베이스 전반에서 프레임워크의 견고성을 검증하기 위해.

제안 방법

• 프레임워크는 GPT-4o를 사용하여 두 개의 미세조정된 SQL 생성기와 하나의 인라인 학습(ICL) 생성기를 조합하는 다중 생성기 앙상블 전략을 사용한다.
• 다양한 스타일적 선호도와 강화된 의미 이해를 위해 생성기를 위한 이중 단계 다중 작업 미세조정 접근법을 적용한다.
• M-Schema는 테이블, 컬럼, 데이터 유형을 계층적이고 압축된 형식으로 포함하는 반구조적 스키마 표현 방식으로, 모델 이해도를 향상시킨다.
• ICL 예제는 질문 스케letal 유사도와 명칭 엔터티 마스킹 기반으로 선택되어 엔터티에 대한 과도한 강조를 방지하고 일반화 능력을 향상시킨다.
• 각 후보는 실행 피드백 또는 오류 신호를 사용하여 논리적 또는 문법적 오류를 수정하는 리파이너에 의해 보완된다.
• 후보 간 미세한 차이를 식별할 수 있도록 훈련된 미세조정된 선택 모델을 도입하여 자기 일관성을 대체함으로써 최종 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 지침 미세조정과 인라인 학습을 조합한 다중 생성기 앙상블 프레임워크가 생성된 SQL 쿼리의 품질과 다양성에 상당한 향상을 이끌 수 있는가?
• RQ2 제안된 M-Schema 표현 방식이 전통적인 DDL 및 MAC-SQL 스키마보다 복잡한 데이터베이스 스키마에 대한 LLM 이해도 향상에 뛰어난 성능을 보이는가?
• RQ3 미세조정된 선택 모델이 다수의 출력에서 최적의 SQL 쿼리를 선택하는 데서 자기 일관성보다 뛰어난 성능을 보일 수 있는가?
• RQ4 스키마 링킹(관련 스키마 요소를 필터링하는 기법)은 종합적인 실행 정확도에 어떤 영향을 미치는가?
• RQ5 이 앙상블 프레임워크는 관계형 데이터베이스 외에도 nGQL와 같은 비관계형 시스템을 포함한 다양한 데이터베이스에 얼마나 잘 일반화되는가?

주요 결과

• XiYan-SQL은 Spider 테스트 세트에서 SOTA 수준의 실행 정확도 89.65%를 달성하여 이전 방법들을 능가한다.
• 도전적인 Bird 개발 벤치마크에서는 72.23%의 실행 정확도를 기록하여 분포 외 샘플에 대한 강력한 일반화 능력을 입증한다.
• M-Schema 사용은 네 개의 LLM 전반에서 DDL 스키마 대비 평균 실행 정확도를 2.03% 향상시키며, GPT-4o와 Claude 3.5 Sonnet에서 가장 높은 성과를 기록한다.
• 스키마 링킹은 정밀도를 10.14%에서 74.74%로 상승시키고, 실행 정확도를 57.95%에서 60.10%로 향상시켜 관련 스키마 정보를 효과적으로 필터링하는 데의 유용성을 입증한다.
• 제거 실험 결과, 미세조정된 생성기, ICL 생성기, 리파이너, 선택 모델를 제거할 경우 모두 성능 저하가 발생하며, 특히 선택 모델 제거 시 2.74%의 정확도 감소가 발생한다.
• 후보 수를 3개에서 5개로 늘임으로써 Bird에서 정확도가 72.23%로 향상되어 후보 다양성과 앙상블 선택의 유용성을 확인한다.