[논문 리뷰] UNITE: A Unified Benchmark for Text-to-SQL Evaluation

Wuwei Lan, Zhiguo Wang외 16명|arXiv (Cornell University)|2023. 05. 25.

Natural Language Processing Techniques인용 수 9

한 줄 요약

UNITE는 18개의 공공 텍스트-대-SQL 데이터셋을 하나의 벤치마크로 통합하여 29k개의 데이터베이스에 걸친 97k개의 학습 예제와 27k개의 테스트 예제를 제공합니다. 이는 데이터베이스 간 일반화 및 강건성에 도전하며, 평가에서 SOTA 모델의 일반화 한계와 교차 맥락 학습을 통한 Codex의 강력한 도메인 밖(out-of-domain) 성능을 보여줍니다.

ABSTRACT

A practical text-to-SQL system should generalize well on a wide variety of natural language questions, unseen database schemas, and novel SQL query structures. To comprehensively evaluate text-to-SQL systems, we introduce a UNIfied benchmark for Text-to-SQL Evaluation (UNITE). It is composed of publicly available text-to-SQL datasets, containing natural language questions from more than 12 domains, SQL queries from more than 3.9K patterns, and 29K databases. Compared to the widely used Spider benchmark, we introduce $\sim$120K additional examples and a threefold increase in SQL patterns, such as comparative and boolean questions. We conduct a systematic study of six state-of-the-art (SOTA) text-to-SQL parsers on our new benchmark and show that: 1) Codex performs surprisingly well on out-of-domain datasets; 2) specially designed decoding methods (e.g. constrained beam search) can improve performance for both in-domain and out-of-domain settings; 3) explicitly modeling the relationship between questions and schemas further improves the Seq2Seq models. More importantly, our benchmark presents key challenges towards compositional generalization and robustness issues -- which these SOTA models cannot address well. Our code and data processing script are available at https://github.com/awslabs/unified-text2sql-benchmark

연구 동기 및 목표

• 다양한 도메인, 스키마, NLQ 패턴, SQL 구조를 포괄하는 텍스트-대-SQL의 포괄적 벤치마크를 제공한다.
• 이전에 파편화되었던 데이터셋 간의 apples-to-apples 평가를 가능하게 한다.
• 도메인 내 및 도메인 외 과제에서 SOTA 모델의 성능을 분석하고 구성적 일반화 및 스키마 연결과 같은 주요 병목 현상을 식별한다.

제안 방법

• 18개의 공개 텍스트-대-SQL 데이터셋을 통합 JSONL/SQLite 기반 포맷으로 수집한다.
• NLQ/SQL 쌍을 원래 이름과 정리된 표/열 이름 및 키를 포함하는 공통 스키마 표현으로 변환한다.
• 예시당 세 가지 필드(데이터베이스 식별자, 질문, SQL 쿼리)를 제공하고 스키마 세부 정보를 JSON으로 보존한다.
• Codex, UL-20B, T5-3B, RASAT, SmBoP, PICARD를 포함한 여섯 개의 SOTA 모델을 제로샷 및 가능하면 파샷 설정에서 평가한다.
• 예측 SQL과 정답 SQL을 데이터베이스에서 실행해 실행 정확도를 주요 지표로 사용한다.

실험 결과

연구 질문

• RQ1 최신 텍스트-대-SQL 모델이 크고 다양한 교차데이터베이스 벤치마크에서 어떻게 일반화되는가?
• RQ2 Spider를 학습하는 것이 UNITE를 학습하는 것에 비해 도메인 내/도메인 외 평가에 어떤 영향을 미치는가?
• RQ3 제한된 빔 탐색 등 디코딩 전략과 관계 인식 스키마 모델링이 교차 도메인 성능을 개선할 수 있는가?
• RQ4 대형 언어 모델 기반 추론(Codex 등)이 도메인 외 데이터에서 미세조정 모델에 비해 어떤 차이가 있는가?
• RQ5 기존 SOTA 모델에서 남아 있는 구성적 일반화 및 강건성의 도전 과제는 무엇인가?

주요 결과

• UNITE는 29k 데이터베이스에 걸친 97k 학습 및 27k 테스트 예제로 현재까지의 최대 규모 벤치마크이다.
• 여섯 개의 SOTA 파서가 UNITE에서 평균 정확도 50% 미만으로 작동하여 실제 세계 일반화의 한계를 강조한다.
• Codex의 맥락 기반 학습이 평가된 모델 중 도메인 외 성능에서 최고를 달성한다.
• 맞춤형 디코딩(예: 제한된 빔 검색)은 도메인 내외 설정에서 Seq2Seq 모델의 성능을 향상시킨다.
• 관계 인식 자기 주의와 같은 관계형 스키마 인식 모델링은 기본 Seq2Seq 접근법 대비 이점을 제공한다.
• UNITE는 현재 SOTA 방법으로 완전히 해결되지 않는 강건성 및 구성적 일반화의 차이를 드러낸다.