[논문 리뷰] XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing

Peng Shi, Rui Zhang외 2명|arXiv (Cornell University)|2022. 10. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 XRICL을 제안하며, 제로샷 다국어 텍스트-스키마(SQL) 의미 해석을 위한 크로스-링구얼 검색 보강형 인-컨텍스트 학습 프레임워크이다. 이는 관련 있는 영어 예시를 검색하고, 번역 지시 프롬프트를 사용하여 Codex와 같은 대규모 언어 모델이 비-영어 쿼리를 SQL로 번역하도록 안내함으로써, XSpider와 XKaggle-dbqa를 포함한 다국어 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In-context learning using large language models has recently shown surprising results for semantic parsing tasks such as Text-to-SQL translation. Prompting GPT-3 or Codex using several examples of question-SQL pairs can produce excellent results, comparable to state-of-the-art finetuning-based models. However, existing work primarily focuses on English datasets, and it is unknown whether large language models can serve as competitive semantic parsers for other languages. To bridge this gap, our work focuses on cross-lingual Text-to-SQL semantic parsing for translating non-English utterances into SQL queries based on an English schema. We consider a zero-shot transfer learning setting with the assumption that we do not have any labeled examples in the target language (but have annotated examples in English). This work introduces the XRICL framework, which learns to retrieve relevant English exemplars for a given query to construct prompts. We also include global translation exemplars for a target language to facilitate the translation process for large language models. To systematically evaluate our model, we construct two new benchmark datasets, XSpider and XKaggle-dbqa, which include questions in Chinese, Vietnamese, Farsi, and Hindi. Our experiments show that XRICL effectively leverages large pre-trained language models to outperform existing baselines. Data and code are publicly available at https://github.com/Impavidity/XRICL.

연구 동기 및 목표

• 대규모 언어 모델을 사용한 인-컨텍스트 학습을 통해 비-영어 언어에 대해 효과적인 크로스-링구얼 텍스트-스키마 의미 해석 방법의 부족을 해결한다.
• 대상 언어에 레이블이 없는 제로샷 전이 문제를 극복한다.
• 비-영어 쿼리에 대해 관련 있는 영어 예시를 검색하고 재정렬하여 소수의 예시를 사용한 인-컨텍스트 학습 성능을 향상시킨다.
• 모델이 쿼리를 먼저 영어로 번역한 후 SQL을 생성하도록 이끄는 글로벌 번역 예시를 도입하여 크로스-링구얼 일반화를 촉진한다.
• 새로 구축한 다국어 벤치마크를 체계적으로 평가하여 제로샷 크로스-링구얼 전이 능력을 평가한다.

제안 방법

• mT5를 사용하여 크로스-링구얼 의미 유사도 기반으로 관련 있는 영어 질문-SQL 쌍을 검색하는 영어 예시 검색기를 훈련한다.
• LLM(Codex)의 소프트 레이블을 사용하여 소프트 디스틸레이션을 수행함으로써 인간의 레이블 피드백이 필요 없이 검색기 성능을 개선한다.
• LLM의 생성 분포 하에서의 가능성에 기반하여 검색된 예시를 재정렬하는 재정렬 모듈을 적용한다.
• 비-영어 쿼리를 먼저 영어로 번역한 후 SQL 쿼리를 생성하도록 지시하는 번역 예시를 포함한 프롬프트를 구성한다.
• 번역 예시를 통해 사고의 연속을 유도함으로써 추론 능력과 크로스-링구얼 정렬을 향상시킨다.
• 검색된 예시와 번역 프롬프트를 Codex의 인-컨텍스트 학습 설정에 통합하여 SQL 쿼리를 생성한다.

실험 결과

연구 질문

• RQ1 Codex와 같은 대규모 언어 모델을 사용한 인-컨텍스트 학습이 대상 언어에 레이블 예시가 전혀 없이 제로샷 크로스-링구얼 텍스트-스키마 의미 해석을 효과적으로 수행할 수 있는가?
• RQ2 검색 보강형 예시 선택이 크로스-링구얼 의미 해석을 위한 소수의 예시를 사용한 인-컨텍스트 학습 성능을 얼마나 향상시키는가?
• RQ3 사고의 연속 프롬프트로 사용하는 번역 예시를 통합함으로써 크로스-링구얼 일반화가 텍스트-스키마 생성에서 향상되는가?
• RQ4 제안된 프레임워크는 다양한 저자원 언어에서 정확도 정합성(Exact Match) 측면에서 강력한 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 각 언어 쌍에 대해 하나의 번역 예시가 다양한 비-영어 쿼리에 대해 얼마나 일반화되는가?

주요 결과

• XRICL은 강력한 베이스라인, 특히 템플릿 오라클을 능가하며, 전체 XSpider 데이터셋에서 52.5 EM 정확도와 하위 집합에서 58.0을 기록한다.
• 검색 및 재정렬 구성 요소는 예시 품질을 크게 향상시켜 무작위 또는 개선되지 않은 검색보다 성능 향상이 뚜렷하다.
• 사고의 연속 프롬프트로 사용하는 글로벌 번역 예시를 추가함으로써 성능이 추가로 향상되었으며, 이는 크로스-링구얼 갭을 메우는 데 효과적임을 입증한다.
• XSpider와 XKaggle-dbqa 벤치마크에서 중국어, 베트남어, 페르시아어, 히нд어 등 네 가지 언어에서 최신 기술 수준의 성능을 달성한다.
• LLM가 생성한 소프트 레이블을 기반으로 훈련된 자기-디스틸레이션 검색기는 대상 언어 레이블이 필요 없이 강력한 제로샷 크로스-링구얼 검색 성능을 달성한다.
• 모델은 다양한 언어에 대해 강력한 일반화 능력을 보이며, 이는 언어별로 최소한의 데이터만으로도 프레임워크가 효과적임을 시사한다.