[논문 리뷰] XOR QA: Cross-lingual Open-Retrieval Question Answering

Akari Asai, Jungo Kasai외 4명|arXiv (Cornell University)|2020. 10. 22.

Topic Modeling참고 문헌 45인용 수 5

한 줄 요약

이 논문은 다국어 위키백과 문서를 사용하여 비영어 질문에 답할 수 있도록 하는 다국어 오픈 리트리ieval 질문 응답 벤치마크인 Xor QA를 소개한다. 7개의 언어형태학적으로 다양성이 있는 언어에서 유래한 40,000개의 모국어 질문을 기반으로 한 프레임워크는 다국어 검색 및 답변 생성을 평가하는 세 가지 과제—XOR-Retrieve, Xor-EnglishSpan, Xor-Full—를 포함한다. 최고의 베이스라인은 Xor-Full에서 F1 점수 18.7을 기록하여 이 과제의 과도함과 다국어 QA 시스템을 발전시킬 잠재력을 보여준다.

ABSTRACT

Multilingual question answering tasks typically assume answers exist in the same language as the question. Yet in practice, many languages face both information scarcity -- where languages have few reference articles -- and information asymmetry -- where questions reference concepts from other cultures. This work extends open-retrieval question answering to a cross-lingual setting enabling questions from one language to be answered via answer content from another language. We construct a large-scale dataset built on questions from TyDi QA lacking same-language answers. Our task formulation, called Cross-lingual Open Retrieval Question Answering (XOR QA), includes 40k information-seeking questions from across 7 diverse non-English languages. Based on this dataset, we introduce three new tasks that involve cross-lingual document retrieval using multi-lingual and English resources. We establish baselines with state-of-the-art machine translation systems and cross-lingual pretrained models. Experimental results suggest that XOR QA is a challenging task that will facilitate the development of novel techniques for multilingual question answering. Our data and code are available at https://nlp.cs.washington.edu/xorqa.

연구 동기 및 목표

• 질문의 언어와 다를 수 있는 언어에서 문서를 검색함으로써 다국어 질문 응답의 정보 부족과 문화적 편향 문제를 해결하기 위해.
• 영어 중심 편향을 초월하여 실제 다국어 정보 요구를 반영하는 대규모, 모국어 중심 데이터셋을 구축하기 위해.
• 7개의 다양한 언어에서 40,000개의 질문을 포함하고 다국어 검색 및 답변 생성 과제를 수행하는 새로운 벤치마크—Xor-TyDi QA—를 수립하기 위해.
• 다국어 위키백과를 문서 소스로 사용하여 다국어 검색 및 답변 생성을 체계적으로 평가할 수 있도록 하기 위해.
• 오류를 줄이고 데이터 품질을 향상시키기 위해 베이스라인과 모델 인 더 리프 앤노테이션 프레임워크를 제공하기 위해.

제안 방법

• 질문은 TyDi QA에서 유추된 불가능한 질문을 상속받고, 이를 전문 번역을 통해 영어로 번역하여 쿼리 타겟을 형성한다.
• 모델 인 더 리프 앤노테이션 프레임워크를 사용하여 번역된 쿼리에 해당하는 영어 위키백과 문단을 찾으며, 인간 오류를 최소화한다.
• 약자들이 검색된 영어 문서에서 답변 스펙트럼을 식별하고, 원래의 목표 언어로 다시 번역하기 전에 확인한다.
• 프레임워크는 세 가지 과제를 지원한다: XOR-Retrieve(다국어 문서 검색), Xor-EnglishSpan(최소한의 답변 스펙트럼 추출), Xor-Full(목표 언어에서 종단 간 답변 생성).
• 최신 오픈 리트리ieval QA 모델(예: DPR)을 다국어 환경에 맞게 적응시키기 위해 다국어 인코더를 사용하고, 영어 및 목표 언어 위키백과에서 검색한다.
• 오류 또는 편향된 답변, 특히 민감하거나 문화적으로 특수한 내용에 대해 최소화하기 위해 철저한 품질 관리 및 검증 절차를 적용한다.

실험 결과

연구 질문

• RQ1 저자원 비영어 언어로 질문된 질문에 대해, 영어 위키백과에서 관련 문서를 효과적으로 검색할 수 있는가?
• RQ2 질문이 다른 언어일 경우, 모델이 영어 문서에서 최소한의 답변 스펙트럼을 얼마나 잘 식별할 수 있는가?
• RQ3 영어 및 목표 언어 위키백과 자료를 참조하여 종단 간 모델이 목표 언어에서 정확한 답변을 생성할 수 있는 정도는 어느 정도인가?
• RQ4 기존 QA 벤치마크의 언어적 및 문화적 편향이 모델 일반화에 미치는 영향은 무엇이며, Xor QA는 이를 완화할 수 있는가?
• RQ5 다국어 검색 및 답변 생성에서 주요 실패 유형은 무엇이며, 단계적 과제를 통해 이를 진단할 수 있는가?

주요 결과

• Xor-TyDi QA 데이터셋은 7개의 언어형태학적으로 다양성이 있는 언어의 모국어 사용자들로부터 온 40,000개의 정보 추구 질문을 포함하며, 답변은 다국어 위키백과 자료에서 추출된다.
• 최고의 베이스라인 모델은 Xor-Full 과제에서 F1 점수 18.7을 기록하여 종단 간 다국어 답변 생성에서 여전히 큰 과제가 남아 있음을 시사한다.
• 모델 인 더 리프 앤노테이션 프레임워크는 전통적인 인간 전용 레이블링에 비해 앤노테이션 오류를 효과적으로 줄이고 데이터 품질을 향상시킨다.
• 시스템이 답변이 포함된 언어를 *사전에* 결정해야 하는 혁신적인 설정을 도입함으로써, 이전의 다국어 벤치마크보다 실제 다국어 검색 시나리오를 더 잘 시뮬레이션한다.
• 모국어 질문과 문화적으로 다양한 주제를 우선시함으로써 오랜 기간 동안 지속된 다국어 QA의 편향 문제를 해결하며 영어 중심 편향을 줄인다.
• 대규모 학습 데이터와 오픈 리트리ieval 설정 덕분에 Xor QA는 이전의 벤치마크인 QA@CLEF보다 규모, 언어 다양성, 실제 적용 가능성 면에서 뛰어나다.