[논문 리뷰] Synthetic Data Augmentation for Zero-Shot Cross-Lingual Question Answering

Arij Riabi, Thomas Scialom외 4명|arXiv (Cornell University)|2020. 10. 23.

Topic Modeling참고 문헌 54인용 수 25

한 줄 요약

이 논문은 SQuAD에서 미세조정된 질문 생성 모델과 번역 파이프라인을 사용하여 다국어 질문을 생성함으로써, 영어 데이터로만 훈련된 모델이 비영어 언어에서 성능 격차를 극복할 수 있도록 하는 합성 데이터 증강 방법을 제안한다. 이 방법은 XQuAD 및 MLQA와 같은 다국어 벤치마크에서 성능을 크게 향상시키며, 추가적인 애너테이션 데이터 없이도 프랑스어, 이탈리아어, 한국어와 같은 새로운 언어로도 효과적으로 일반화된다. 결과적으로 새로운 최고 성능을 기록한다.

ABSTRACT

Coupled with the availability of large scale datasets, deep learning architectures have enabled rapid progress on the Question Answering task. However, most of those datasets are in English, and the performances of state-of-the-art multilingual models are significantly lower when evaluated on non-English data. Due to high data collection costs, it is not realistic to obtain annotated data for each language one desires to support. We propose a method to improve the Cross-lingual Question Answering performance without requiring additional annotated data, leveraging Question Generation models to produce synthetic samples in a cross-lingual fashion. We show that the proposed method allows to significantly outperform the baselines trained on English data only. We report a new state-of-the-art on four multilingual datasets: MLQA, XQuAD, SQuAD-it and PIAF (fr).

연구 동기 및 목표

• 영어 데이터로만 훈련된 모델이 비영어 언어에서 평가되었을 때 발생하는 성능 격차를 해결하기 위해.
• 저자원 언어를 위한 애너테이션된 다국어 QA 데이터의 높은 비용과 부족함을 해결하기 위해.
• 합성 데이터 생성이 다국어 QA 모델의 다국어 전이 능력을 향상시킬 수 있는지 조사하기 위해.
• 합성 훈련 데이터에 포함되지 않은 언어에 대한 일반화 능력을 평가하기 위해.
• 질문 생성 및 QA 모두에 동일한 모델 아키텍처(예: MiniLM)를 사용하여 디스틸레이션 편향을 방지하고 공정한 비교를 확보하기 위해.

제안 방법

• SQuAD 데이터셋에서 미세조정된 다국어 질문 생성 모델을 사용해 영어로 합성 질문을 생성한다.
• 사전 훈련된 신경 기계 번역 시스템을 사용해 생성된 영어 질문을 다수의 목표 언어로 번역한다.
• 원본 SQuAD 데이터의 해당 답변과 함께 번역된 질문을 조합하여 합성 다국어 QA 샘플을 구성한다.
• 합성 다국어 데이터로 다국어 QA 모델(예: MiniLM, XLM-R)을 미세조정하여 다국어 전이 능력을 향상시킨다.
• 두 단계 훈련 설정을 사용한다: 먼저 영어에서 질문 생성기를 훈련한 후, 이를 사용해 다국어로 합성 데이터를 생성한다.
• 생성된 질문의 품질이 최종 QA 성능에 미치는 영향을 평가하기 위해 BLEU-4 점수와 최종 QA 성능 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 추가적인 애너테이션 데이터 없이도 합성 데이터 생성이 제로샷 다국어 질문 이해 성능을 향상시킬 수 있는가?
• RQ2 생성된 질문의 품질(예: BLEU-4로 측정)이 다국어 벤치마크에서 최종 QA 성능과 상관관계가 있는가?
• RQ3 제안된 방법은 합성 훈련 데이터에 포함되지 않은 언어(예: 프랑스어, 이탈리아어, 한국어)로도 일반화 가능한가?
• RQ4 질문 생성 및 QA 모델 아키텍처의 선택이 성능 향상에 미치는 영향은 어떠한가? 특히 디스틸레이션 편향을 방지하기 위한 고려가 필요한가?
• RQ5 합성 데이터 증강이 합성 데이터 생성 시에 관찰되지 않은 언어들에 대해서도 다국어 전이 능력을 얼마나 향상시키는가?

주요 결과

• MiniLM를 사용할 경우, XQuAD에서 정확도 매칭(EM)이 29.5에서 49.5로 20포인트 향상되었고, MLQA에서는 26.0에서 41.4로 15.4포인트 향상되어 새로운 최고 성능을 기록했다.
• 합성 데이터로 미세조정된 XLM-R 모델은 PIAF(fr)에서 새로운 최고 성능을 기록했으며, 심지어 단일 언어 모델인 CamemBERT를 능가했다.
• 한국어(KorQuAD) 및 이탈리아어(SQuAD-it)와 같은 새로운 언어에서 제로샷 기반 모델 대비 뚜렷한 성능 향상을 보이며 효과적인 다국어 일반화 능력을 입증했다.
• 생성된 질문의 BLEU-4 점수와 QA 성능 간에 강한 피어슨 상관관계(r = 0.65, p < .001)를 관찰했으며, 이는 질문 품질이 모델 성능에 직접적인 영향을 미친다는 것을 시사한다.
• MiniLM 기반 XQuAD에서 기반 모델 대비 EM 기준 상대적 향상률이 60% 이상이었으며, 이는 합성 데이터가 모델 일반화 능력을 크게 향상시킨다는 것을 시사한다.
• 같은 모델 아키텍처(예: MiniLM)를 QA 및 질문 생성 모두에 사용함으로써 Shakeri 등(2020)의 이전 연구를 초월하며, 증강 방법의 진정한 영향을 더 공정하게 평가할 수 있었다.