[논문 리뷰] Multilingual Synthetic Question and Answer Generation for Cross-Lingual Reading Comprehension.

Siamak Shakeri, Noah Constant외 2명|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 10인용 수 7

한 줄 요약

이 논문은 목표 언어에서의 인간 레이블링이 필요 없이, 자동 번역된 영어 데이터를 활용하여 대규모 다국어 질의응답 쌍을 생성하는 단일 생성 모델을 제안한다. 합성 데이터 증강을 통해 다양한 데이터셋에서 다국어 QA 성능을 크게 향상시킨다.

ABSTRACT

We propose a simple method to generate large amounts of multilingual question and answer pairs by a single generative model. These synthetic samples are then applied to augment the available gold multilingual ones to improve the performance of multilingual QA models on target languages. Our approach only requires existence of automatically translated samples from English to the target domain, thus removing the need for human annotations in the target languages. Experimental results show our proposed approach achieves significant gains in a number of multilingual datasets.

연구 동기 및 목표

• 저자원 언어에서의 다국어 질의응답 주석의 부족 문제를 해결하기 위해.
• 다국어 QA에서 목표 언어에서의 비용이 많이 드는 인간 주석 데이터에 대한 의존도를 줄이기 위해.
• 영어 번역에서 유래한 합성 데이터를 사용하여 다국어 독해력 성능을 향상시키기 위해.
• 다국어 QA 데이터 생성을 위한 확장 가능한 단일 모델 접근법을 개발하기 위해.

제안 방법

• 단일 생성 모델을 영어 질의응답 쌍에 대해 훈련시켜 합성 다국어 QA 샘플을 생성한다.
• 자동 번역된 영어 데이터를 입력으로 사용하여 목표 언어에서 질문과 답변을 생성한다.
• 영어에서 목표 언어로의 역번역 또는 번역된 훈련 데이터를 대상으로 모델을 피지테이닝하여 합성 샘플을 생성한다.
• 기존의 정답 다국어 데이터와 합성 데이터를 결합하여 훈련을 증강한다.
• 데이터 생성에 인간 주석을 전혀 사용하지 않고 기계 번역에 의존한다.
• 최종 모델은 합성 데이터와 정답 데이터를 결합하여 훈련시켜 제로샷 및 피샷 다국어 전이 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 인간 주석이 목표 언어에 없이도 단일 생성 모델이 고품질의 다국어 QA 쌍을 생성할 수 있는가?
• RQ2 번역된 영어 데이터에서 유래한 합성 데이터가 다국어 QA 성능 향상에 얼마나 효과적인가?
• RQ3 합성 샘플을 사용한 데이터 증강이 제로샷 및 피샷 다국어 전이 성능을 얼마나 향상시키는가?
• RQ4 이 방법이 다양한 다국어 QA 데이터셋과 저자원 언어에 대해 일반화되는가?

주요 결과

• 제안된 방법은 오직 자동 번역된 영어 데이터만을 사용하여 여러 다국어 QA 벤치마크에서 뚜렷한 성능 향상을 달성한다.
• 합성 데이터 생성은 정답 데이터가 부족한 저자원 언어 환경에서도 모델 성능 향상에 기여한다.
• 비용이 많이 드는 목표 언어의 인간 주석 의존도를 줄이면서도 정확도를 유지하거나 향상시킨다.
• 이 방법은 다양한 언어와 데이터셋에서 강력한 제로샷 및 피샷 일반화 성능을 보여준다.