[논문 리뷰] AfriQA: Cross-lingual Open-Retrieval Question Answering for African Languages

Odunayo Ogundepo, Tajuddeen Gwadabe외 50명|arXiv (Cornell University)|2023. 05. 11.

Topic Modeling인용 수 8

한 줄 요약

AfriQA는 아프리카 언어를 위한 최초의 교차언어 개방 검색 QA 데이터셋으로, 12,239개의 질문이 10개 언어에 걸쳐 있으며, 저자원 언어에서의 XOR 검색 및 QA 평가를 가능하게 한다.

ABSTRACT

African languages have far less in-language content available digitally, making it challenging for question answering systems to satisfy the information needs of users. Cross-lingual open-retrieval question answering (XOR QA) systems -- those that retrieve answer content from other languages while serving people in their native language -- offer a means of filling this gap. To this end, we create AfriQA, the first cross-lingual QA dataset with a focus on African languages. AfriQA includes 12,000+ XOR QA examples across 10 African languages. While previous datasets have focused primarily on languages where cross-lingual QA augments coverage from the target language, AfriQA focuses on languages where cross-lingual answer content is the only high-coverage source of answer content. Because of this, we argue that African languages are one of the most important and realistic use cases for XOR QA. Our experiments demonstrate the poor performance of automatic translation and multilingual retrieval methods. Overall, AfriQA proves challenging for state-of-the-art QA models. We hope that the dataset enables the development of more equitable QA technology.

연구 동기 및 목표

• 아프리카 언어에 맞춘 기초부터 구축된 XOR QA 데이터셋을 만들어 아프리카 언어 QA 데이터의 부족 문제를 해결한다.
• 교차언어 검색 및 답변 생성을 연구하기 위해 10개 아프리카 언어에 걸친 확장 가능한 벤치마크를 제공한다.
• 아프리카 언어의 XOR QA에서 현재 한계를 식별하기 위해 다양한 번역, 검색 및 QA 베이스라인을 평가한다.
• 향후 데이터셋 생성 및 모델 개발을 안내하기 위한 언어적 특성 분석과 주석 도전 과제를 제시한다.

제안 방법

• AfriQA를 12,239개의 질문과 8,892개의 QA 쌍으로 10개 아프리카 언어에 걸쳐 구성한다.
• 질문은 아프리카 언어로, 패시지는 피벗 언어(영어 또는 프랑스어)로 검색되는 교차언어 개방 검색 설정을 사용한다.
• 질문 유도, 피벗 언어로의 번역, 피벗 언어로의 답 라벨링, 원래 언어로의 번역의 네 단계 주석 파이프라인으로 데이터를 수집한다.
• 번역, 검색 및 리더 모델을 사용하여 XOR-Retrieve, XOR-PivotLanguageSpan, XOR-Full의 세 가지 XOR QA 태스크를 평가한다.
• Google Translate, NLLB, M2M-100, BM25, mDPR, 희소-밀집 하이브리드 등을 포함한 베이스라인을 AfroXLMR 및 mBERT 기반 리더와 함께 비교한다.

Figure 1: Graph of retriever recall@k for different translation systems. The scores shown in this graph are from mDPR retrieval.

실험 결과

연구 질문

• RQ1 현재의 번역 및 검색 베이스라인을 사용하여 아프리카 언어에서의 교차언어 개방 검색 QA 성능은 어느 정도인가?
• RQ2 번역 품질과 검색 전략이 저자원 언어의 교차언어 QA 정확도에 어떻게 영향을 미치는가?
• RQ3 희소-밀집 하이브리드 검색 접근법이 XOR QA에서 번역-후 검색 베이스라인을 개선할 수 있는가?
• RQ4 10개 아프리카 언어의 어떤 언어적 특성이 QA 시스템 설계와 평가에 영향을 미치는가?

주요 결과

• 최종 AfriQA 데이터셋은 10개 언어에 걸친 12,239개의 질문과 8,892개의 QA 쌍을 포함한다.
• 질문의 27%만이 답변 불가능하여, 위키피디아 제약을 고려할 때 비교적 높은 답변 커버리지를 나타낸다.
• 교차언어 검색 방법은 번역 기반 베이스라인에 미치지 못하며, 이러한 언어들에 대한 현재 교차언어 검색의 결함을 강조한다.
• 일부 언어에서 희소-밀집 하이브리드 검색 접근법은 BM25 또는 mDPR 단독보다 개선된다.
• 평가 결과 AfriQA가 최신 QA 모델에 도전적임을 보여주어 더 공정한 다국어 QA 시스템 개발을 촉진한다.

Figure 2: Question Length Distribution