[논문 리뷰] mRAT-SQL+GAP:A Portuguese Text-to-SQL Transformer

Marcelo Archanjo José, Fábio Gagliardi Cozman|arXiv (Cornell University)|2021. 10. 07.

Topic Modeling참고 문헌 58인용 수 18

한 줄 요약

이 논문은 mBART-50 트랜스포머 모델 기반으로 구축된 다국어 텍스트-SQL 프레임워크인 mRAT-SQL+GAP를 소개한다. 영어와 포르투갈어 데이터셋을 병합하여 미세조정함으로써 포르투갈어에서 자연어를 SQL로 정확하게 변환할 수 있도록 한다. 주요 기여는 양국어를 동시에 미세조정함으로써 성능이 크게 향상됨을 입증한 것으로, 영어 전용 기준 대비 83%의 성능을 달성하였다. 이는 비영어 NL2SQL 작업에 다국어 접근 방식이 필수적임을 시사한다.

ABSTRACT

The translation of natural language questions to SQL queries has attracted growing attention, in particular in connection with transformers and similar language models. A large number of techniques are geared towards the English language; in this work, we thus investigated translation to SQL when input questions are given in the Portuguese language. To do so, we properly adapted state-of-the-art tools and resources. We changed the RAT-SQL+GAP system by relying on a multilingual BART model (we report tests with other language models), and we produced a translated version of the Spider dataset. Our experiments expose interesting phenomena that arise when non-English languages are targeted; in particular, it is better to train with original and translated training datasets together, even if a single target language is desired. This multilingual BART model fine-tuned with a double-size training dataset (English and Portuguese) achieved 83% of the baseline, making inferences for the Portuguese test dataset. This investigation can help other researchers to produce results in Machine Learning in a language different from English. Our multilingual ready version of RAT-SQL+GAP and the data are available, open-sourced as mRAT-SQL+GAP at: https://github.com/C4AI/gap-text2sql

연구 동기 및 목표

• 포르투갈어 자연어 질문을 정확한 SQL 쿼리로 변환할 수 있는 견고한 텍스트-SQL 시스템을 개발하는 것.
• 특히 포르투갈어를 위한 비영어 NL2SQL 작업에 대해 다국어 미리 훈련의 효과성을 조사하는 것.
• 포르투갈어 데이터로만 훈련하는 것과 비교해, 영어 및 포르투갈어 데이터 양측을 함께 훈련하는 것이 성능 향상에 기여하는지 평가하는 것.
• 미래의 저자원 NL2SQL 설정에서의 연구를 위해 공개 가능한 다국어 대응 버전의 RAT-SQL+GAP를 제작하는 것.
• 기준으로 사용하기 위한 포르투갈어 번역된 Spider 데이터셋을 제공하는 것.

제안 방법

• 기존 RAT-SQL+GAP 프레임워크의 기반 모델을 다국어 BART 버전인 mBART-50으로 교체하여 포르투갈어 입력을 지원하도록 개선하였다.
• Google Cloud Translation API를 사용하여 Spider 데이터셋의 자연어 질문을 포르투갈어로 번역하였으며, 원본 SQL 쿼리는 유지하였다.
• 영어 및 포르투갈어 질문을 병합한 훈련 데이터셋을 사용하여 mBART-50 모델을 미세조정하였으며, 공통된 SQL 타겟을 사용하였다.
• 영어 및 포르투갈어 테스트 세트에서 Spider Exact Set Match without Values 지표를 사용하여 성능을 평가하였다.
• 예측 과정에서 명시적 개체(예: 프로그램 이름)를 원본 형태로 유지하는 하이브리드 추론 전략을 구현하였다.
• 다국어 모델, 번역된 데이터셋, 훈련 체크포인트를 mRAT-SQL+GAP 프로젝트 하에 오픈소스로 배포하였다.

실험 결과

연구 질문

• RQ1 mBART-50과 같은 다국어 트랜스포머 모델이 NL2SQL에서 저자원 언어인 포르투갈어의 텍스트-SQL 번역을 효과적으로 처리할 수 있는가?
• RQ2 영어 및 포르투갈어 데이터를 동시에 미세조정하는 것이 포르투갈어 테스트 세트에서 성능 향상에 기여하는가? 특히 포르투갈어 데이터로만 훈련하는 것과 비교하여.
• RQ3 언어 특화 키워드와 혼합 언어 엔티티(예: 포르투갈어 질문 내 영어 프로그램 이름)가 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 언어로 훈련된 다국어 모델이 포르투갈어와 같은 단일 목표 언어로 추론할 때 성능 저하가 어느 정도 발생하는가?
• RQ5 언어 간 어휘적 및 문법적 차이가 존재하는 상황에서, 다국어 접근 방식이 저자원 언어 번역의 과제를 완화시킬 수 있는가?

주요 결과

• 영어 및 포르투갈어 훈련 데이터셋을 병합하여 mBART-50를 미세조정한 결과, 영어 전용 기준 대비 83%의 성능(포르투갈어 테스트 세트에서 0.595 대비 0.718)을 달성하였다.
• 가장 높은 성능을 기록한 모델은 양국어 데이터로 미세조정한 mBART-50로, 영어 테스트 세트에서 0.664의 성능을 기록하여 영어 전용 기준(0.718)의 92%에 해당하였다.
• 포르투갈어 데이터로만 훈련한 결과 성능(0.588)은 공동 훈련에 비해 낮았으며, 이는 단일 언어 미세조정이 최적의 성능을 내지 못한다는 것을 시사한다.
• 모델는 번역된 질문 내에서 영어 고유명사(예: 프로그램 이름)를 정확히 유지하여, 언어 혼합 상황에서도 정확한 쿼리 생성에 기여하였다.
• 어휘적 및 문법적 차이가 존재하더라도, 다국어 모델은 복잡한 중첩 쿼리에 대해 의미적으로 올바른 SQL 쿼리를 충분히 잘 생성하는 경향을 보였다.
• 실패한 예측의 수동 분석 결과 오류가 무작위가 아니었으며, 이는 모델이 잘못된 경우에도 의미 있는 패턴을 학습하고 있음을 시사하며, 향후 정교한 개선이 가능할 여지를 보여주었다.