[논문 리뷰] GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing

Tao Yu, Chien-Sheng Wu외 7명|arXiv (Cornell University)|2020. 09. 29.

Topic Modeling참고 문헌 55인용 수 59

한 줄 요약

GraPPa가 문법 보강 합성 데이터를 사용하여 텍스트-SQL 용 언어 모델을 사전 학습하며, 완전 지도와 약한 지도 설정 모두에서 네 가지 표 의미 파싱 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

We present GraPPa, an effective pre-training approach for table semantic parsing that learns a compositional inductive bias in the joint representations of textual and tabular data. We construct synthetic question-SQL pairs over high-quality tables via a synchronous context-free grammar (SCFG) induced from existing text-to-SQL datasets. We pre-train our model on the synthetic data using a novel text-schema linking objective that predicts the syntactic role of a table field in the SQL for each question-SQL pair. To maintain the model's ability to represent real-world data, we also include masked language modeling (MLM) over several existing table-and-language datasets to regularize the pre-training process. On four popular fully supervised and weakly supervised table semantic parsing benchmarks, GraPPa significantly outperforms RoBERTa-large as the feature representation layers and establishes new state-of-the-art results on all of them.

연구 동기 및 목표

• NL 쿼리를 표 형식 스키마에 근거해 표 의미 파싱의 일반화 향상을 촉진한다.
• 문법 주도 데이터 합성을 통해 언어 모델에 구성적 귀납 편향을 주입한다.
• 합성 데이터를 표 관련 MLM 규제로 균형 있게 조절하여 실세계 데이터에서 모델 용량을 유지한다.
• 여러 벤치마크에서 강한 하류 성능을 낳는 데이터 효율적 사전 학습을 시연한다.

제안 방법

• 텍스트-SQL 데이터셋으로부터 동기화 컨트리스 자유 문법(SCFG)을 유도하여 표에 근거한 합성 질문-SQL 쌍을 생성한다.
• SCFG에서 샘플링하여 WikiTables 및 Spider/WikiSQL 표를 사용해 큰 합성 데이터셋(475k 예시)을 생성한다.
• 두 가지 목표로 RoBERTa 기반 모델(GraPPa)을 사전 학습한다: 표-언어 데이터에 대한 MLM과 열 단위 SQL 연결을 위한 SQL 의미 예측(SSP).
• 다운스트림 파서(예: RAT-SQL)에서 Grappa를 미세조정하여 교차 도메인 표 의미 파싱 성능을 평가한다.
• 표 관련 발화에 MLM을 적용해 사전 학습을 정규화하여 합성 데이터와 실제 표-언어 데이터를 균형화한다.

실험 결과

연구 질문

• RQ1 Grappa가 RoBERTa 기반 기본 모델과 비교하여 교차 도메인 표 의미 파싱에 더 나은 표현을 제공하는가?
• RQ2 두 가지 사전 학습 목표(MLM와 SSP) 및 이들의 결합이 다운스트림 성능에 미치는 영향은 무엇인가?
• RQ3 문법 보강 사전 학습이 완전 지도 및 약한 지도 설정에서 보이지 않는 표에 얼마나 잘 일반화되는가?

주요 결과

• Grappa는 네 가지 의미 파싱 작업에서 일관되게 RoBERTa 기본 모델을 능가한다.
• Spider: MLM+SSP를 적용한 Grappa가 새로운 최첨단을 달성하여 기존 최고치를 약 4% 포인트 상회한다.
• WikiSQL 완전 지도: Grappa가 저자원(10k) 설정에서 SQLova를 3.0% 향상시킨다.
• WikiTableQuestions: MLM+SSP를 사용한 Grappa가 새로운 최첨단을 제시하고 RoBERTa 기본 대비 6% 이상 이득을 낸다.
• 약한 지도 WikiSQL: MLM+SSP를 적용한 Grappa가 84.7% 실행 정확도를 달성하여 새로운 최첨단이다.
• 작업 전반에 걸쳐 MLM+SSP 조합이 일반적으로 MLM이나 SSP 단독보다 더 우수하며, 균형 잡힌 사전 학습의 중요성을 강조한다.