[논문 리뷰] Spider: A Large-Scale Human-Labeled Dataset for Complex and Cross-Domain Semantic Parsing and Text-to-SQL Task

Changyuan Yu, Rui Zhang외 10명|arXiv (Cornell University)|2018. 09. 24.

Natural Language Processing Techniques인용 수 153

한 줄 요약

Spider는 200개의 데이터베이스와 10k개 이상 질문으로 보지 않은 SQL 쿼리와 새로운 데이터베이스 스키마에 대한 일반화를 테스트하는 대규모 크로스 도메인 텍스트-투-SQL 데이터셋을 도입합니다; 최첨단 모델은 상당한 차이를 보입니다.

ABSTRACT

We present Spider, a large-scale, complex and cross-domain semantic parsing and text-to-SQL dataset annotated by 11 college students. It consists of 10,181 questions and 5,693 unique complex SQL queries on 200 databases with multiple tables, covering 138 different domains. We define a new complex and cross-domain semantic parsing and text-to-SQL task where different complex SQL queries and databases appear in train and test sets. In this way, the task requires the model to generalize well to both new SQL queries and new database schemas. Spider is distinct from most of the previous semantic parsing tasks because they all use a single database and the exact same programs in the train set and the test set. We experiment with various state-of-the-art models and the best model achieves only 12.4% exact matching accuracy on a database split setting. This shows that Spider presents a strong challenge for future research. Our dataset and task are publicly available at https://yale-lily.github.io/spider

연구 동기 및 목표

• 대규모의 고품질 크로스-도메인 텍스트-투-SQL 데이터셋을 구축하여 복잡한 SQL 쿼리와 다중 테이블 데이터베이스를 포함.
• 고정 스키마 내에서의 새로운 쿼리뿐만 아니라 새로운 데이터베이스에 대한 일반화 평가를 가능하게.
• 도메인 간 데이터베이스 스키마와 자연어를 모두 이해해야 하는 현실적인 시맨틱 파싱 태스크를 촉진.
• 모델의 강건성을 평가하기 위한 다양한 SQL 패턴과 광범위한 데이터베이스 스키마를 제공.

제안 방법

• 138개 도메인에 걸친 다중 테이블을 가진 200개 데이터베이스를 구성.
• 이 데이터베이스들에 대해 10,181개의 자연어 질문과 5,693개의 복잡한 SQL 쿼리를 주석화.
• 조인, 중첩, GROUP BY, HAVING, 세트 연산을 포함한 다양한 SQL 패턴을 다루도록 질문을 보장.
• 동등한 질문들 간의 SQL 템플릿의 명확성과 일관성을 유지하기 위한 검토 및 파라프레이즈 과정을 포함.
• 정확 매칭, 구성요소별 F1, 데이터베이스-분할 대 예시-분할 일반화를 주석 평가.
• 교차 데이터베이스 스키마와 복합 쿼리를 다루기 위해 기존 텍스트-투-SQL 모델(Seq2Seq, Seq2Seq+Attention, Seq2Seq+Copying, SQLNet, TypeSQL)을 적응시킴.

실험 결과

연구 질문

• RQ1 모델이 복잡한 스키마의 새로운 데이터베이스에서 보이지 않는 SQL 쿼리로 일반화할 수 있는가?
• RQ2 최신 텍스트-투-SQL 모델은 서로 다른 데이터베이스에서 학습하고 평가될 때 어떻게 성능을 보이는가(크로스 도메인 분할)?
• RQ3 SQL의 어떤 측면(예: WHERE, JOIN, 중첩 쿼리)이 크로스-도메인 평가하에서 가장 도전적인가?
• RQ4 데이터베이스 스키마의 복잡도(예: 외래 키의 수)가 모델 성능에 어떤 영향을 미치는가?
• RQ5 스키마/콘텐츠 정보를 도입하는(TypeSQL처럼) 것이 크로스-데이터베이스 일반화에 도움이 되는가?

주요 결과

• 최고 성능 모델도 Spider에서 여전히 어려움을 겪고 있으며 데이터베이스-분할 평가에서 정확 매칭은 단 12.4%에 불과하다.
• SQLNet 및 TypeSQL은 분할과 구성요소 전반에서 Seq2Seq 베이스라인을 크게 능가한다.
• WHERE 절 및 열 예측은 모델 전반에서 가장 오류가 많은 부분으로, 조합적 어려움을 반영한다.
• 데이터베이스 스키마의 복잡도가 증가함에 따라 모델 성능이 저하된다(외래 키가 더 많을수록).
• 예시-분할(학습/테스트에 같은 데이터베이스) 은 데이터베이스-분할(데이터베이스 간 중첩 없음)보다 더 높은 정확도를 보이며, 크로스-도메인 일반화의 도전을 강조한다.
• Spider의 크로스-도메인 설정은 현재 모델과 진정한 시맨틱 파싱 일반화 사이의 큰 격차를 드러낸다.