Skip to main content
QUICK REVIEW

[논문 리뷰] Evaluating the Text-to-SQL Capabilities of Large Language Models

Nitarshan Rajkumar, Raymond Li|arXiv (Cornell University)|2022. 03. 15.
Topic ModelingComputer Science인용 수 51
한 줄 요약

이 논문은 Codex와 GPT-3을 제로샷 및 파샷 Text-to-SQL 솔버로 평가하고, Spider에서 Codex가 강력한 제로샷 기준점임을 보이며 few-shot 프롬프트가 GeoQuery와 Scholar에서 미세조정된 소형 모델을 능가할 수 있음을 보여준다.

ABSTRACT

We perform an empirical evaluation of Text-to-SQL capabilities of the Codex language model. We find that, without any finetuning, Codex is a strong baseline on the Spider benchmark; we also analyze the failure modes of Codex in this setting. Furthermore, we demonstrate on the GeoQuery and Scholar benchmarks that a small number of in-domain examples provided in the prompt enables Codex to perform better than state-of-the-art models finetuned on such few-shot examples.

연구 동기 및 목표

  • 코드로 훈련된 대형 언어 모델이 태스크 특화 미세조정 없이 Text-to-SQL을 수행할 수 있는지 평가한다.
  • Spider에서 Codex와 GPT-3를 미세조정된 Transformer 기준선과 비교한다.
  • 프롬프트 설계와 도메인 내 예제가 Text-to-SQL 성능에 미치는 영향을 조사한다.
  • 제로샷 및 파샷 설정에서 Codex의 실패 모드를 검토한다.
  • GeoQuery와 Scholar 데이터셋에서 few-shot 프롬프트 적응의 이점을 입증한다.

제안 방법

  • Spider 제로샷 및 다양한 프롬프트에서 OpenAI API 모델(GPT-3 변형; Codex 변형)을 평가한다.
  • PICARD 제약 디코딩 및 BRIDGE v2 베이스라인을 포함한 T5 기반 Spider 모델과 비교한다.
  • 프롬프트에 도메인 내 예제를 덧붙여 GeoQuery 및 Scholar에서 few-shot 실험을 수행한다.
  • 예측 샘플을 수작업으로 주석 달아 오류 유형을 분석한다.
  • 공정한 오프라인 평가를 위해 암기 이슈 및 모델 버전 관리를 조사한다.

실험 결과

연구 질문

  • RQ1태스크 특화 미세조정 없이 Text-to-SQL 작업에서 Codex와 GPT-3 모델은 얼마나 경쟁력이 있는가?
  • RQ2프롬프트 설계(스키마, 내용, 데이터베이스 내 정보)가 Text-to-SQL 성능에 어떻게 영향을 미치는가?
  • RQ3few-shot 프롬 prompting이 Codex를 GeoQuery 및 Scholar 도메인에 미세조정한 소형 모델보다 더 효과적으로 적응시킬 수 있는가?
  • RQ4Text-to-SQL에서 제로샷 설정의 Codex의 일반적 오류 모드는 무엇인가?
  • RQ5프롬프트에 데이터베이스 내용(또는 제한된 스키마)을 포함시키면 미세조정 없이 의미 정확도가 향상되는가?

주요 결과

  • 최적의 Spider 개발 세트 결과(davinci-codex with Create Table + Select 3)는 67% 실행 정확도와 56.5% 테스트-세트 정확도를 달성하며 BRIDGE v2와 경쟁적이다.
  • 프롬프트 설계는 성능에 극적으로 영향을 미치며, 질문만으로는 정확도가 낮고 스키마 및 데이터베이스 내용을 추가하면 결과가 크게 개선된다.
  • 데이터베이스 내용 확장은 일부 프롬프트에서 수익 감소를 보이고(Create Table + Select X), 더 큰 컨텍스트 윈도우(davinci-codex)가 특정 프롬프트에서 더 작은 변형을 능가할 수 있다.
  • 제로샷 Codex 모델은 파샷 설정에서 GeoQuery에서 미세조정된 소형 모델을 종종 능가하며, 특히 프롬프트에 최대 40개의 예제를 포함할 때 그렇다; Scholar에서 미세조정된 T5-3B는 제로샷 Codex를 능가할 수 있다.
  • GeoQuery 및 Scholar에서 Codex의 Few-shot 프롬프팅은 미세조정된 기준선을 맞추거나 능가할 수 있으며, 명시적 미세조정 없이도 강력한 도메인 적응을 보여준다.
  • 오류 분석에서 많은 “잘못된” 예측이 인간에게 의미상 수용 가능하다는 것을 보여주며, 프롬 prompting이나 제어된 동작을 통한 개선 가능성을 시사한다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.