[논문 리뷰] Retrieval-augmented GPT-3.5-based Text-to-SQL Framework with Sample-aware Prompting and Dynamic Revision Chain

Chunxi Guo, Zhiliang Tian외 5명|arXiv (Cornell University)|2023. 07. 11.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 샘플 인식 프롬프팅과 동적 수정 체인을 사용하여 GPT-3.5 기반의 Text-to-SQL 프레임워크를 제안한다. 이를 통해 입력 질문을 단순화하고 의도에 맞는 예시를 검색함으로써 SQL 생성 정확도를 향상시킨다. 실행 결과 및 설명으로부터 피드백을 받아 SQL를 반복적으로 개선함으로써, 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 복잡한 쿼리에서 강력한 베이스라인 모델들을 능가한다.

ABSTRACT

Text-to-SQL aims at generating SQL queries for the given natural language questions and thus helping users to query databases. Prompt learning with large language models (LLMs) has emerged as a recent approach, which designs prompts to lead LLMs to understand the input question and generate the corresponding SQL. However, it faces challenges with strict SQL syntax requirements. Existing work prompts the LLMs with a list of demonstration examples (i.e. question-SQL pairs) to generate SQL, but the fixed prompts can hardly handle the scenario where the semantic gap between the retrieved demonstration and the input question is large. In this paper, we propose a retrieval-augmented prompting method for a LLM-based Text-to-SQL framework, involving sample-aware prompting and a dynamic revision chain. Our approach incorporates sample-aware demonstrations, which include the composition of SQL operators and fine-grained information related to the given question. To retrieve questions sharing similar intents with input questions, we propose two strategies for assisting retrieval. Firstly, we leverage LLMs to simplify the original questions, unifying the syntax and thereby clarifying the users' intentions. To generate executable and accurate SQLs without human intervention, we design a dynamic revision chain which iteratively adapts fine-grained feedback from the previously generated SQL. Experimental results on three Text-to-SQL benchmarks demonstrate the superiority of our method over strong baseline models.

연구 동기 및 목표

• 입력 질문과 검색된 예시 사이에 의미적 격차가 존재할 때 정적 예시가 실패하는 소수 예제 프롬프팅 학습에서의 검색 편향 문제를 해결하기 위해.
• 의도와 구조적 SQL 구성 요소를 반영하는 샘플 인식 예시를 사용하여 LLM 기반 Text-to-SQL의 제로샷 및 소수 샘플 일반화 능력을 동적으로 향상시키기 위해.
• 데이터베이스 상호작용으로부터 세분화된 피드백을 통해 반복적인 개선을 가능하게 하여 인간 간섭 없이 실행 가능한 정확한 SQL 쿼리를 생성하기 위해.
• 질문 간소화 및 질문 스케leton을 활용한 의도 기반 검색을 통합하여 복잡한 쿼리에 대한 모델의 강인성을 향상시키기 위해.

제안 방법

• 입력 질문의 의미적 격차를 줄이기 위해, LLM이 생성한 간소화된 질문 버전과 질문 스케leton을 사용하여 의도 기반 유사 예시를 검색한다.
• SQL 연산자와 입력 질문의 의도와 관련된 세분화된 정보를 조합하여 샘플 인식 예시를 구성한다.
• 각 반복에서 실행 결과, 자연어 설명 및 스키마 내용으로부터 피드백을 받아 SQL 쿼리를 개선하는 동적 수정 체인을 도입한다.
• 원본 질문을 간소화하고 문법을 통일하며 사용자 의도를 명확히 하여 검색 효과를 향상시키기 위해 LLM을 사용한다.
• 간소화된 질문과 구조적 질문 스케leton을 모두 활용하여 의미적으로 유사한 예시를 식별하고 프롬프팅에 활용한다.
• 동적 수정 체인은 반복적인 개선을 수행한다: 각 새로운 SQL 버전은 이전 버전의 피드백에 기반하여 생성되며, 자가 수정 기능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 LLM 기반 질문 간소화는 소수 예제 기반 Text-to-SQL 프롬프팅에서 의미적으로 유사한 예시 검색에 도움이 되는가?
• RQ2 SQL 구조와 의도를 통합한 샘플 인식 예시를 통합할 경우, LLM 기반 Text-to-SQL에서 소수 예제 일반화 능력이 어떻게 향상되는가?
• RQ3 세분화된 피드백을 활용한 동적 수정 체인은 복잡한 쿼리에서 SQL 실행 정확도를 얼마나 향상시키고 오류를 줄이는가?
• RQ4 제안된 프레임워크는 특히 어려운 및 매우 어려운 쿼리 카테고리에서 강력한 베이스라인 모델들을 능가하는가?

주요 결과

• 제안된 방법은 Spider, Spider-SYN, Spider-DK 세 가지 Text-to-SQL 벤치마크에서 모두 강력한 베이스라인 모델들을 능가하며, 특히 어려운 및 매우 어려운 쿼리 수준에서 두드러진 성능 향상을 보였다.
• Spider-DK 데이터셋에서 동적 수정 체인을 사용할 경우, 쉬운 수준 쿼리에서 실행 정확도가 13.6% 향상되었고, 어려운 수준 쿼리에서는 11.0% 향상되었다.
• 제거 실험 결과, 간소화 모듈이나 수정 모듈를 제거할 경우 성능 저하가 심각하게 발생했으며, 간소화 모듈이 쉬운 수준 성능 향상에 가장 기여했으며, Spider-DK에서 12.5%의 성능 감소가 관찰되었다.
• 동적 수정 체인은 후속 반복에서 가장 큰 이점을 제공했으며, Spider-SYN 및 Spider-DK에서 두 번째 반복이 첫 번째 반복보다 더 큰 정확도 향상을 보였다. 이는 점진적인 개선이 이루어지고 있음을 시사한다.
• 사례 연구를 통해 모델은 정확한 컬럼 값(예: 'French' 시민권)을 식별하고, GROUP BY 없이 COUNT()를 잘못 사용하는 오류를 스스로 수정하는 것으로 확인되었으며, 이는 다른 모델들이 해결하지 못한 문제였다.
• 모델은 최신 기술 수준의 성능을 달성했으며, 복잡한 쿼리에서 가장 큰 향상을 보여, 실제 어려운 Text-to-SQL 시나리오를 효과적으로 처리할 수 있음을 확인했다.