[논문 리뷰] Cross-Lingual GenQA: A Language-Agnostic Generative Question Answering Approach for Open-Domain Question Answering.

Benjamin Müller, Luca Soldaini외 3명|arXiv (Cornell University)|2021. 10. 14.

Topic Modeling참고 문헌 41인용 수 5

한 줄 요약

이 논문은 다국어 훈련을 활용하여 아랍어, 베트남어, 영어, 일본어, 러시아어 등 다섯 개 언어에서 고품질이고 자연스러운 답변을 생성할 수 있는, 언어에 관계없이 적용 가능한 생성형 질문-답변 시스템인 Cross-Lingual GenQA를 소개한다. 새로운 GenTyDiQA 데이터셋을 통해 다국어 인코더-디코더 모델이 단일 언어 모델 및 답변 문장 선택 기준 모델보다 우수한 성능을 보이며, 다양한 언어 입력에서 훈련된 경우에도 성능이 뛰어나다는 것을 입증한다.

ABSTRACT

Open-Retrieval Generative Question Answering (GenQA) is proven to deliver high-quality, natural-sounding answers in English. In this paper, we present the first generalization of the GenQA approach for the multilingual environment. To this end, we present the GenTyDiQA dataset, which extends the TyDiQA evaluation data (Clark et al., 2020) with natural-sounding, well-formed answers in Arabic, Bengali, English, Japanese, and Russian. For all these languages, we show that a GenQA sequence-to-sequence-based model outperforms a state-of-the-art Answer Sentence Selection model. We also show that a multilingually-trained model competes with, and in some cases outperforms, its monolingual counterparts. Finally, we show that our system can even compete with strong baselines, even when fed with information from a variety of languages. Essentially, our system is able to answer a question in any language of our language set using information from many languages, making it the first Language-Agnostic GenQA system.

연구 동기 및 목표

• 생성형 질문-답변(GenQA)을 영어를 넘어서 다국어 환경으로 확장하기.
• 오픈 도메인 QA에서 저자원 및 비영어 언어에 대해 고품질이고 자연스러운 답변이 부족한 문제 해결.
• 다양한 목표 언어에서 유창한 답변을 생성할 수 있는 통합된 다국어 모델 개발.
• 다국어 훈련이 단일 언어로 미세조정하는 것보다 GenQA에서 더 나은 일반화 성능을 제공하는지 평가하기.
• 단일 모델을 통해 여러 언어를 효과적으로 처리할 수 있는 언어에 관계없는 QA의 가능성 탐색.

제안 방법

• 아랍어, 베트남어, 영어, 일본어, 러시아어 등 다섯 언어에서 자연스럽고 잘 구성된 답변을 포함하는 TyDiQA 데이터셋을 애너테이션하여 GenTyDiQA 데이터셋 구축.
• 질문-컨텍스트 쌍에서 직접 답변을 생성하기 위해 다국어 GenTyDiQA 데이터셋으로 시퀀스-투-시퀀스 모델 훈련.
• 각 목표 언어별로 다국어 모델을 개별적으로 미세조정하여 단일 언어 모델과의 성능 비교.
• 다국어 모델의 제로샷 다국어 전이 성능 평가: 다른 언어의 컨텍스트를 사용하여 한 언어에서 답변 생성.
• 모든 다섯 언어에서 최신 기술 기반의 답변 문장 선택 모델과 다국어 GenQA 모델의 성능 비교.
• 공통 다국어 토크나이저와 인코더-디코더 아키텍처를 사용하여 다국어 전이 및 언어에 관계없는 추론 지원.

실험 결과

연구 질문

• RQ1 다국어 시퀀스-투-시퀀스 모델이 언어별 미세조정 없이도 여러 언어에서 고품질이고 자연스러운 답변을 생성할 수 있는가?
• RQ2 다국어 사전 훈련이 단일 언어 모델 대비 생성형 질문-답변에서 제로샷 다국어 일반화 성능을 향상시키는가?
• RQ3 다국어 GenQA 모델이 저자원 언어 포함 다양한 언어에서 강력한 답변 문장 선택 기준 모델을 능가할 수 있는가?
• RQ4 다양한 언어 데이터에서 훈련된 모델이 다른 언어의 컨텍스트를 사용하여 목표 언어에서 얼마나 잘 유창한 답변을 생성할 수 있는가?
• RQ5 진정으로 언어에 관계없는 생성형 QA 시스템을 구축할 수 있으며, 다양한 언어에서 경쟁적인 성능을 낼 수 있는가?

주요 결과

• 다국어 GenQA 모델은 GenTyDiQA 데이터셋의 다섯 언어 전반에서 최신 기술 기반의 답변 문장 선택 모델을 능가한다.
• 다국어 모델은 언어별로 미세조정된 단일 언어 모델과 비교해도 경쟁력 있거나 뛰어난 성능을 보이며, 강력한 제로샷 일반화 능력을 입증한다.
• 여러 언어의 데이터에서 훈련된 모델가 어느 목표 언어에서나 자연스럽고 잘 구성된 답변을 생성함으로써 언어에 관계없는 능력을 확인한다.
• 베트남어 및 아랍어와 같은 저자원 언어에서도 뛰어난 성능을 유지함으로써 다국어 환경에서의 강건성을 보여준다.
• 결과적으로 다국어 정보 검색 및 다국어 훈련이 오픈 도메인 QA에서 답변 생성 품질을 크게 향상시킨다는 것이 입증된다.
• GenTyDiQA 데이터셋은 다국어 생성형 QA의 새로운 벤치마크를 제공하며, 언어에 관계없는 NLP 분야의 향후 연구를 가능하게 한다.