[논문 리뷰] FQuAD: French Question Answering Dataset

Martin d’Hoffschmidt, Wacim Belblidia외 3명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling참고 문헌 20인용 수 20

한 줄 요약

이 논문은 위키피디아 기사에서 수작업으로 주어진 60,000개 이상의 샘플을 바탕으로 한 첫 번째 대규모 원어 종속 프랑스어 독해 데이터셋인 FQuAD를 소개한다. 캐메르브 기반의 단일 언어 프랑스어 모델인 CamemBERT LARGE가 최신 기술 성능(SOTA)을 달성(지표: F1: 92.2, EM: 82.1)하며 테스트 세트에서 인간 성능을 초월했고, 저자원 언어에 대해 번역 기반 접근법의 한계를 드러냈다.

ABSTRACT

Recent advances in the field of language modeling have improved state-of-the-art results on many Natural Language Processing tasks. Among them, Reading Comprehension has made significant progress over the past few years. However, most results are reported in English since labeled resources available in other languages, such as French, remain scarce. In the present work, we introduce the French Question Answering Dataset (FQuAD). FQuAD is a French Native Reading Comprehension dataset of questions and answers on a set of Wikipedia articles that consists of 25,000+ samples for the 1.0 version and 60,000+ samples for the 1.1 version. We train a baseline model which achieves an F1 score of 92.2 and an exact match ratio of 82.1 on the test set. In order to track the progress of French Question Answering models we propose a leader-board and we have made the 1.0 version of our dataset freely available at https://illuin-tech.github.io/FQuAD-explorer/.

연구 동기 및 목표

• 독해에 적합한 고품질의 원어 종속 프랑스어 자연어 처리(NLP) 데이터셋의 부족 문제를 해결하기 위해, 영어 자원에 비해 상대적으로 부족한 프랑스어 자원과의 비교를 목적으로 한다.
• 위키피디아 기사에서 수작업으로 질문과 답변을 생성하여 대규모 고품질 프랑스어 독해 데이터셋을 구축한다.
• 원어 종속 및 다국어 사전 훈련된 언어 모델이 원어 종속 프랑스어 QA 벤치마크에서 성능을 어떻게 발휘하는지 평가한다.
• 저자원 언어 QA에 대해 영어 기반의 제로샷 다국어 전이 및 번역 기반 미세조정 접근법을 비교한다.
• 프랑스어 질문 응답 연구의 진전을 추적하기 위해 공개 벤치마크와 랭킹을 구축한다.

제안 방법

• 대학생들이 참여한 두 단계의 주석 작업을 통해 FQuAD1.0(25,000개 이상의 샘플)과 FQuAD1.1(60,000개 이상의 샘플)을 구성하였다. 두 번째 단계에서는 더 엄격한 지침을 적용해 복잡도를 높였다.
• 고품질 위키피디아 기사에서 문맥을 확보하고, 인간 주석자들이 텍스트 스펙트럼에 기반한 질문-답변 쌍을 생성하였다.
• FQuAD 데이터셋에서 최신 기술 성능을 보이는 단일 언어 프랑스어 모델 (CamemBERT, FlauBERT)과 다국어 모델 (mBERT, XLM-RoBERTa)을 미세조정하였다.
• 제로샷 다국어 전이 성능 평가를 위해, SQuAD1.1에서 미세조정한 모델을 FQuAD1.1에서 테스트하고, 반대로도 수행하였다.
• 기계 번역 기술(NMT)을 사용해 SQuAD1.1을 프랑스어로 번역하고, 번역된 데이터에서 모델을 미세조정하여 원어 종속 훈련 결과와 비교하였다.
• 표준 평가 지표인 F1 점수와 정확 일치(EM)를 사용하여 개발 및 테스트 세트에서 모델 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 대규모 원어 종속 프랑스어 독해 데이터셋은 영어 기반 전이 또는 번역 기반 방법에 비해 모델 성능을 크게 향상시킬 수 있는가?
• RQ2 원어 종속 프랑스어 언어 모델은 다국어 모델과 비교해 원어 종속 프랑스어 QA 벤치마크에서 어떤 성능을 보이는가?
• RQ3 프랑스어 데이터에서의 미세조정 없이 영어에서 프랑스어 QA 작업으로의 제로샷 다국어 전이가 어느 정도 일반화되는가?
• RQ4 SQuAD1.1 번역 데이터에서의 미세조정 성능은 FQuAD와 같은 원어 종속 프랑스어 데이터셋에서의 훈련 성능과 유사한가?
• RQ5 FQuAD 벤치마크에서 인간 주석자와 최신 기술 성능 모델 간의 성능 격차는 어느 정도인가?

주요 결과

• 최고의 성능을 보인 모델인 CamemBERT LARGE는 FQuAD1.1 테스트 세트에서 F1 점수 92.2와 정확 일치(EM) 82.1을 기록하여 인간 성능(F1: 91.2, EM: 75.9)을 초월했다.
• FQuAD1.1 개발 세트에서 인간 주석자의 성능은 F1 점수 92.1과 EM 78.3을 기록하여 높은 품질의 벤치마크임을 입증했다.
• XLM-R LARGE와 같은 다국어 모델은 제로샷 전이 성능이 뛰어나 SQuAD1.1에서만 미세조정된 경우 FQuAD에서 영어 수준의 인간 성능에 근접한 결과를 보였다.
• 번역 기반 접근법을 통해 번역된 SQuAD1.1 데이터를 사용한 결과는 원어 종속 FQuAD 성능을 따라잡지 못했으며, 번역된 데이터에 성능의 한계와 품질 격차가 있음을 시사했다.
• 원어 종속 훈련 데이터에 번역된 샘플을 추가해도 원어 종속 평가 세트에서 성능 향상이 없었으며, 이는 번역된 데이터가 원어 종속 주석의 대체가 되지 않는다는 것을 의미한다.
• 유사 크기의 다국어 모델에 비해 원어 종속 프랑스어 모델이 더 높은 성능을 보였으며, 이는 언어 특화 사전 훈련이 원어 종속 QA 작업에 있어 뚜렷한 이점을 제공한다는 것을 시사한다.