[논문 리뷰] Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering

Priyanka Sen, Alham Fikri Aji외 1명|arXiv (Cornell University)|2022. 10. 04.

Topic Modeling인용 수 16

한 줄 요약

Mintaka는 9개의 언어에서 180,000개의 샘플을 포함하고 있으며, 영어 질문 20,000개와 그 번역문, Wikidata 엔터티로 표시된 annotation을 포함한 대규모, 다국어, 자연적으로 유도된 질문-답변 데이터셋입니다. 최고의 베이스라인 모델은 영어에서 38%의 hits@1을 기록하고 다국어로는 31%를 기록하여 복잡한 다국어 QA 작업을 다루는 데 있어 향후 개선 여지가 크다는 것을 보여줍니다.

ABSTRACT

We introduce Mintaka, a complex, natural, and multilingual dataset designed for experimenting with end-to-end question-answering models. Mintaka is composed of 20,000 question-answer pairs collected in English, annotated with Wikidata entities, and translated into Arabic, French, German, Hindi, Italian, Japanese, Portuguese, and Spanish for a total of 180,000 samples. Mintaka includes 8 types of complex questions, including superlative, intersection, and multi-hop questions, which were naturally elicited from crowd workers. We run baselines over Mintaka, the best of which achieves 38% hits@1 in English and 31% hits@1 multilingually, showing that existing models have room for improvement. We release Mintaka at https://github.com/amazon-research/mintaka.

연구 동기 및 목표

• 복잡한 질문-답변 작업을 위한 대규모, 자연적으로 유도된, 다국어 데이터셋의 부족을 해결하기 위해.
• 다중 히프, 비교적, 초월적 질문과 같은 8종류의 복잡한 질문을 포함하여 실제 세계의 복잡성을 반영하는 벤치마크를 만들기 위해.
• 고품질 번역과 Wikidata로 annotation된 질문-답변 쌍을 제공하여 다국어 엔드 투 엔드 QA 연구를 지원하기 위해.
• 간단한 사실 검색을 넘어서 다양한 언어와 복잡한 추론 유형에 대해 모델 평가를 가능하게 하기 위해.
• 재현 가능한 다국어 QA 연구를 촉진하기 위해 표준화된 훈련/검증/테스트 분할을 포함해 공개된 데이터셋을 제공하기 위해.

제안 방법

• 현장 작업자들을 통해 실제 사용자 검색 패턴을 반영한 영어로 20,000개의 자연스럽고 복잡한 질문을 수집합니다.
• 질문과 답변 각각을 Wikidata 엔터티 ID로 annotation하여 구조화된 지식 그래프와 연결합니다.
• 전문 번역가들을 통해 영어 질문 20,000개를 아랍어, 프랑스어, 독일어, 히두어, 이탈리아어, 일본어, 포르투갈어, 스페인어 등 8개의 추가 언어로 번역합니다.
• 언어적 및 의미적 일관성을 유지하면서 180,000개의 총 샘플을 포함하는 균형 잡힌 데이터셋을 구성합니다.
• 초월적, 교차, 다단계, 비교, 집계, 시간적, 수치적, 否정 질문 등 8종류의 복잡성 유형을 포함하도록 데이터셋을 설계합니다.
• https://github.com/amazon-research/mintaka 에서 사전 정의된 훈련(14,000), 검증(2,000), 테스트(4,000) 분할을 포함해 데이터셋을 공개합니다.

실험 결과

연구 질문

• RQ1 기존의 엔드 투 엔드 질문-답변 모델들이 단일 사실 검색을 넘어서는 추론이 필요한 복잡한 다국어 질문에 일반화될 수 있는가?
• RQ2 다국어 QA 환경에서 영어에서 다른 언어로의 전이 시 모델 성능이 어떻게 저하되는가?
• RQ3 외부 지식 소스 없이 언어 모델이 비교, 세기, 순서 정렬과 같은 복잡한 연산을 얼마나 잘 처리하는가?
• RQ4 복잡한 자연어 질문에 직면했을 때, 지식 그래프 기반 모델이 구조화된 데이터에서 추론하는 데 얼마나 효과적인가?
• RQ5 현재 모델들이 다단계 추론이나 수치 연산과 같은 복잡한 추론 작업을 처리할 때 나타나는 주요 실패 유형은 무엇인가?

주요 결과

• 최고의 베이스라인 모델인 닫힌 책 QA를 위한 미세조정된 T5는 영어 테스트 세트에서 38%의 hits@1을 기록하여 향후 개선 여지가 크다는 것을 시사합니다.
• 다국어 성능은 약간 감소하여 최고의 모델이 9개 언어 전반에서 31%의 hits@1을 기록하며 언어 간 성능 격차가 있음을 보여줍니다.
• DPR 기반 검색 모델은 다국어로 31%의 hits@1을 기록하지만, 검색된 문단에 추론 단계가 명시적으로 포함되어 있지 않으면 어려움을 겪습니다.
• 지식 그래프 기반 모델인 Rigel은 정확한 엔터티 경로 이동에도 불구하고 20%의 hits@1에 그치며, 주로 정렬이나 필터링과 같은 복잡한 연산 처리의 한계 때문입니다.
• 언어 모델 전용 모델은 유사해 보이지만 잘못된 답변을 예측하는 경우가 많습니다 (예: 두 번째 MCU 영화에 대해 'Thor: The Dark World'를 'Iron Man' 대신 예측함), 이는 추론 실패를 보여줍니다.
• 영어와 다른 언어 간 성능 격차는 다국어 모델의 한계(예: MT5 대비 T5)와 다국어 인코더의 비효율성(예: XLM-RoBERTa 대비 RoBERTa) 때문일 수 있습니다.