[논문 리뷰] A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability

Aiwei Liu, Xuming Hu외 2명|arXiv (Cornell University)|2023. 03. 12.

Topic Modeling인용 수 60

한 줄 요약

해석: 이 논문은 12개의 벤치마크에서 ChatGPT의 제로샷 Text-to-SQL 성능을 평가하여 강력한 능력과 견고함을 보이고, SOTA 모델과의 격차가 있지만 적대적 및 다중 턴 시나리오에서 주목할 만한 승리가 있다.

ABSTRACT

This paper presents the first comprehensive analysis of ChatGPT's Text-to-SQL ability. Given the recent emergence of large-scale conversational language model ChatGPT and its impressive capabilities in both conversational abilities and code generation, we sought to evaluate its Text-to-SQL performance. We conducted experiments on 12 benchmark datasets with different languages, settings, or scenarios, and the results demonstrate that ChatGPT has strong text-to-SQL abilities. Although there is still a gap from the current state-of-the-art (SOTA) model performance, considering that the experiment was conducted in a zero-shot scenario, ChatGPT's performance is still impressive. Notably, in the ADVETA (RPL) scenario, the zero-shot ChatGPT even outperforms the SOTA model that requires fine-tuning on the Spider dataset by 4.1\%, demonstrating its potential for use in practical applications. To support further research in related fields, we have made the data generated by ChatGPT publicly available at https://github.com/THU-BPM/chatgpt-sql.

연구 동기 및 목표

• ChatGPT의 제로샷 Text-to-SQL 능력을 다양한 데이터셋과 언어에서 평가합니다.
• 여러 로버스트니스 시나리오에서 미세 조정된 SOTA 모델과 제로샷 ChatGPT를 비교합니다.
• 적대적 및 다중 턴 설정을 포함하여 ChatGPT가 뛰어난 시나리오를 식별합니다.
• Text-to-SQL 과제에 대한 향후 프롬 prompting 및 데이터 증가 전략에 대한 인사이트를 제공합니다.

제안 방법

• 고정된, OpenAI 데모 스타일의 Text-to-SQL 프롬프트를 채택합니다(단일 턴 및 다중 턴 변형).
• Spider 패밀리, 실제 세계 변화, 적대적, 다국어 및 다중 턴 데이터셋에 걸친 12개의 공개 Text-to-SQL 벤치마크에서 ChatGPT를 평가합니다.
• 정확 매칭이 아닌 실행 기반 메트릭(유효한 SQL, 실행 정확도, 테스트 스위트)을 사용합니다.
• ChatGPT 미세 조정 없이 제한된 디코딩 및 골격 기반 디코딩(PICARD, RASAT, RESDSQL)에 기반한 Baseline과 비교합니다.
• 동의어 치환, 지식 필요성, 적대적 열 이름 변경, 다언어 설정 등에서 데이터셋 전반의 로버스트니스를 분석합니다.
• 일반적인 오류 유형 및 개선 가능성에 대한 사례 연구를 제공합니다.

Figure 1: Example prompts for Text-to-SQL using ChatGPT. The prompt at the top is for a single-turn scenario, while the one below is for multi-turn scenarios where only new questions are added in each interaction.

실험 결과

연구 질문

• RQ1 제로샷 ChatGPT가 표준 Text-to-SQL 벤치마크에서 미세 조정된 SOTA 모델과 비교해 얼마나 잘 수행하는가?
• RQ2 동의어 치환, 추가 지식, 그리고 적대적 열 이름 변경과 같은 로버스트니스 도전에 대해 ChatGPT는 얼마나 견고한가?
• RQ3 다중 턴 및 다국어 Text-to-SQL 설정에서 ChatGPT의 성능은 어떠한가?
• RQ4 ChatGPT가 어떤 종류의 오류를 범하며, 제로샷 Text-to-SQL 능력을 개선하기 위한 실용적 방향은 무엇인가?

주요 결과

• ChatGPT는 강한 제로샷 Text-to-SQL 성능을 달성하며, Spider 데이터에 대해 SOTA 모델과의 실행 정확도 격차가 14%에 불과합니다.
• 특정 로버스트니스 시나리오에서 ChatGPT는 SOTA 방법과의 격차를 줄이거나 심지어 좁히기도 하며(예: ADVETA(RPL)에서 SOTA를 4.1% 포인트 앞섬).
• ChatGPT는 로버스트니스 벤치마크에서 표준 Spider 데이터 세트보다 격차가 더 작아 강한 견고함을 보입니다(일부 Spider 로버스트니스 설정에서 7.8% 격차 예시).
• 다중 턴 설정(SParC, CoSQL)에서도 ChatGPT는 단일 턴 결과에 비해 격차가 작아 맥락 모델링이 효과적임을 시사합니다.
• 중국어 Text-to-SQL 데이터셋(CSpider, DuSQL)에서 ChatGPT는 잘 작동하지만 표/열 이름까지 중국어인 경우 더 큰 격차를 보이며, 다언어 일반화의 도전을 강조합니다.
• 정확 매칭 기반 평가는 SQL에 대해 약하므로 실행 기반 메트릭을 강조합니다. ChatGPT의 출력은 구문 차이에도 불구하고 의미상 동등한 경우가 많습니다.