[논문 리뷰] Learning Contextual Representations for Semantic Parsing with Generation-Augmented Pre-Training

Peng Shi, Patrick Ng외 6명|arXiv (Cornell University)|2020. 12. 18.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델이 생성한 합성 데이터를 사용하여 자연어 문장과 데이터베이스 스키마의 문맥적 표현을 공동으로 사전 훈련하는 프레임워크인 생성 보강 사전 훈련(GAP)을 제안한다. 생성 보강 사전 훈련은 세 가지 새로운 사전 훈련 작업—열 이름 예측, 열 복구, 스키마 인식 생성—을 도입하여 열 탐지, 스키마 정렬, 복잡한 쿼리 구성 능력을 크게 향상시키며, Spider 및 Criteria-to-SQL 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Most recently, there has been significant interest in learning contextual representations for various NLP tasks, by leveraging large scale text corpora to train large neural language models with self-supervised learning objectives, such as Masked Language Model (MLM). However, based on a pilot study, we observe three issues of existing general-purpose language models when they are applied to text-to-SQL semantic parsers: fail to detect column mentions in the utterances, fail to infer column mentions from cell values, and fail to compose complex SQL queries. To mitigate these issues, we present a model pre-training framework, Generation-Augmented Pre-training (GAP), that jointly learns representations of natural language utterances and table schemas by leveraging generation models to generate pre-train data. GAP MODEL is trained on 2M utterance-schema pairs and 30K utterance-schema-SQL triples, whose utterances are produced by generative models. Based on experimental results, neural semantic parsers that leverage GAP MODEL as a representation encoder obtain new state-of-the-art results on both SPIDER and CRITERIA-TO-SQL benchmarks.

연구 동기 및 목표

• 텍스트-SQL 파싱의 세 가지 핵심 과제를 해결: 열 참조를 탐지하지 못하는 문제, 셀 값으로부터 열을 추론하지 못하는 문제, 복잡한 SQL 쿼리 조합의 어려움.
• 목표 훈련 목표를 통해 사전 훈련된 언어 모델에서 자연어 문장과 데이터베이스 스키마 간의 정렬을 향상시키기.
• 합성 데이터와 구조화된 사전 훈련 작업을 통해 도메인 특화 지식을 통합하여 교차 도메인 환경에서의 모델 일반화 능력을 향상시키기.
• 생성 보강 합성 데이터를 사용하여 문장과 테이블 스키마의 표현을 공동으로 학습하는 사전 훈련 프레임워크 개발.
• 통합된 프레임워크에 도메인 인식 사전 훈련 목표를 통합하여 표준 텍스트-SQL 벤치마크에서 최신 기준 성능 달성.

제안 방법

• 대규모 언어 모델을 활용해 사전 훈련 데이터로 200만 개의 합성 문장-스키마 쌍과 3만 개의 문장-스키마-SQL 삼중항을 생성.
• 각 스키마 열이 문장에 참조되었는지 분류하는 열 이름 예측 작업을 도입하여 명시적 열 탐지 능력을 향상시킴.
• 열 이름을 해당 셀 값으로 대체하고 모델이 원래 열을 복원하도록 요구하는 열 복구 작업을 설계하여 암묵적 스키마 이해 능력을 향상.
• 주어진 스키마 요소를 기반으로 문장을 생성하도록 조건화하는 스키마 인식 생성 작업을 개발하여 공동 표현 학습 강화.
• 마스크된 언어 모델링과 세 가지 새로운 목표를 조합하여 모델을 사전 훈련하며, 탐색 실험에서는 인코더를 고정함.
• 사전 훈련된 인코더를 사용하여 표준 순서-순서 생성 훈련 방식으로 최종 모델을 다운스트림 텍스트-SQL 작업에 미세조정.

실험 결과

연구 질문

• RQ1 생성 보강 사전 훈련은 텍스트-SQL 파싱에서 명시적으로 언급된 열의 탐지 능력을 향상시킬 수 있는가?
• RQ2 합성 데이터와 전문화된 사전 훈련 작업은 문장 내 셀 값에서 열 이름을 추론하는 모델의 능력을 향상시킬 수 있는가?
• RQ3 스키마 인식 생성과 함께 공동 사전 훈련하면 중첩된 절이 포함된 복잡한 SQL 쿼리의 조합 능력이 향상되는가?
• RQ4 제안된 사전 훈련 목표가 문장-스키마 정렬을 포괄하는 데 있어 표준 마스크된 언어 모델링보다 얼마나 뛰어나게 작용하는가?
• RQ5 GAP 프레임워크는 Criteria-to-SQL과 같은 벤치마크에서 성능을 보이며, 도메인 외부 및 자원이 제한된 환경에서도 일반화되는가?

주요 결과

• GAP 모델은 Spider 벤치마크에서 이전의 표준 사전 훈련에 의존하는 모델들을 능가하는 새로운 최신 기준 성능을 달성한다.
• 값-열 매칭 탐색 작업에서 GAP 모델이 모든 세 가지 목표(MLM + CRec + CPred)를 통합한 경우 44.51%의 정확도를 기록하며, BART 베이스라인(23.17%)에 비해 뚜렷한 향상이 있었다.
• 열 이름 예측 작업만으로도 매칭 정확도가 44.51%로 향상되어 명시적 열 탐지 향상에 효과적임을 입증한다.
• 열 복구 작업(CRec)은 값-열 매칭에서 36.78%의 정확도 기록으로 암묵적 스키마 이해 능력 향상을 시사한다.
• 스키마 인식 생성 목표의 통합은 복잡한 쿼리 생성, 특히 중첩 및 다중 절 쿼리에서 더 나은 일반화와 강건성을 이끌어내었다.
• GAP 모델은 Criteria-to-SQL 벤치마크에서 기존 모델들을 능가하며, 자원이 제한된 환경과 도메인 외부 설정에서도 효과적임을 확인했다.