[논문 리뷰] Grammar-based Neural Text-to-SQL Generation

Kevin Lin, Ben Bogin외 3명|arXiv (Cornell University)|2019. 05. 30.

Topic Modeling참고 문헌 34인용 수 45

한 줄 요약

문법 기반 디코딩 방식을 통해 텍스트-SQL 변환에서 동적 스키마 의존 문법과 런타임 제약을 활용하는 접근법을 도입하며, ATIS와 Spider 데이터셋에서 상당한 개선을 달성한다.

ABSTRACT

The sequence-to-sequence paradigm employed by neural text-to-SQL models typically performs token-level decoding and does not consider generating SQL hierarchically from a grammar. Grammar-based decoding has shown significant improvements for other semantic parsing tasks, but SQL and other general programming languages have complexities not present in logical formalisms that make writing hierarchical grammars difficult. We introduce techniques to handle these complexities, showing how to construct a schema-dependent grammar with minimal over-generation. We analyze these techniques on ATIS and Spider, two challenging text-to-SQL datasets, demonstrating that they yield 14--18\% relative reductions in error.

연구 동기 및 목표

• NLIDB를 자연어를 SQL로 매핑하는 문제로 동기 부여하고 토큰 기반 디코딩보다 문법 기반 디코딩으로 향상시키기.
• 대부분의 실제 쿼리를 커버하면서 과다 생성(over-generation)을 최소화하는 얕은 스키마 인식 SQL 문법 개발.
• 런타임 제약 및 발화/스키마 주도 규칙 생성을 도입해 스키마 가변성과 보지 않은 데이터베이스를 다루기.
• ATIS와 Spider에서 접근 방식을 평가해 기존의 토큰 기반 방법보다 개선점을 입증하기.

제안 방법

• 테이블과 열에 대한 스키마 의존 규칙으로 보강된 기본 SQL 문법을 제안한다.
• unseen 식별자 처리를 위해 글로벌(기본 문법) 규칙과 연결된(발화 특화) 규칙으로 분리한다.
• 조인 및 열 사용 등 유효한 SQL 구조를 보장하기 위한 런타임 제약을 구현한다.
• 식별자에 대한 연결 임베딩을 생성하는 인코더와 문법 규칙을 선택하는 디코더의 이중 부분 인코더-디코더를 사용한다.
• 감독 학습을 위한 SQL AST를 프로덕션 규칙 시퀀스로 선형화한다.
• 발화 토큰을 데이터베이스 식별자에 연결하고 타입 인식 연결 규칙 생성을 위해 휴리스틱 문자열 매칭을 활용한 식별자 연결을 사용한다.

실험 결과

연구 질문

• RQ1 런타임 제약이 있는 스키마 의존 문법이 텍스트-SQL 생성에서 과다 생성을 줄일 수 있는가?
• RQ2 발화 토큰의 데이터베이스 식별자에 대한 동적 연결이 ATIS와 Spider의 정확도에 어떤 영향을 미치는가?
• RQ3 전역 규칙과 연결된 규칙의 분리가 보지 못한 스키마에 대한 모델 일반화에 어떤 영향을 미치는가?
• RQ4 런타임 제약이 기본 문법만 사용하는 방법보다 품질을 더 향상시키는가?

주요 결과

데이터셋	개발 Q	개발 D	테스트 Q	테스트 D
ATIS (맥락 포함) – Suhr 등 2018 기준선	37.5	62.5	43.6	69.2
ATIS (저희 모델)	39.1	65.8	44.1	73.7
Spider – 개발	18.9	—	19.7	—
Spider – 저희 제안	34.8	—	33.8	—

• 문법 기반 모델은 ATIS에서 던토테이션 정확도에서 절대 4.5% 포인트의 개선, Spider에서 정확한 구성 매칭에서 절대 14.1% 포인트의 개선을 보여준다.
• 스키마 의존 규칙과 런타임 제약을 갖춘 문법은 잘못된 출력 제한과 스키마 정보를 활용함으로써 더 높은 정확도를 달성한다.
• 타입 인식 연결 임베딩으로의 식별자 연결은 특히 보지 못한 식별자에서 성능을 향상시킨다.
• 연구 제거를 통해 연결 규칙, 연결 임베딩 및 값 제약 검사 각각이 성능 향상에 기여하며, 이를 제거하면 던토테이션이나 구성 정확도 중 하나가 저하된다.
• 맥락(이전 발화)의 처리가 ATIS에서 과거 맥락이 존재할 때 추가적 향상을 제공한다.