[논문 리뷰] FQuAD2.0: French Question Answering and knowing that you know nothing

Quentin Heinrich, G. Viaud외 1명|arXiv (Cornell University)|2021. 09. 27.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 17,000개 이상의 답변이 불가능한 질문을 포함하여 답변 가능 질문과 구별하기 어려운, 첫 번째 악성 공격적 프랑스어 질문-답변 데이터셋인 FQuAD2.0을 소개한다. 이 데이터셋은 CamemBERT 기반 모델이 답변이 불가능한 질문을 탐지하도록 훈련시키며, 답변 불가능성 탐지에서 82.3%의 F1 점수와 독해 이해에서 83%의 F1 점수를 기록하여, 불확실성 인식 능력을 갖춘 개방형 QA 분야에서 프랑스어 NLP의 급격한 발전을 이룬다.

ABSTRACT

Question Answering, including Reading Comprehension, is one of the NLP research areas that has seen significant scientific breakthroughs over the past few years, thanks to the concomitant advances in Language Modeling. Most of these breakthroughs, however, are centered on the English language. In 2020, as a first strong initiative to bridge the gap to the French language, Illuin Technology introduced FQuAD1.1, a French Native Reading Comprehension dataset composed of 60,000+ questions and answers samples extracted from Wikipedia articles. Nonetheless, Question Answering models trained on this dataset have a major drawback: they are not able to predict when a given question has no answer in the paragraph of interest, therefore making unreliable predictions in various industrial use-cases. In the present work, we introduce FQuAD2.0, which extends FQuAD with 17,000+ unanswerable questions, annotated adversarially, in order to be similar to answerable ones. This new dataset, comprising a total of almost 80,000 questions, makes it possible to train French Question Answering models with the ability of distinguishing unanswerable questions from answerable ones. We benchmark several models with this dataset: our best model, a fine-tuned CamemBERT-large, achieves a F1 score of 82.3% on this classification task, and a F1 score of 83% on the Reading Comprehension task.

연구 동기 및 목표

• FQuAD1.1을 기반으로 훈련된 프랑스어 질문-답변 모델의 핵심적 한계인 답변이 불가능한 질문을 탐지하지 못하는 문제를 해결하기 위해.
• 답변 가능 질문과 형태와 내용 면에서 유사한 현실적인 답변이 불가능한 질문을 포함한 고품질의 악성 공격적 프랑스어 QA 데이터셋을 구축하기 위해.
• 악성 공격적 답변이 불가능한 질문이 모델 성능에 미치는 영향을 답변 불가능성 탐지 및 독해 이해 작업 모두에서 평가하기 위해.
• 영어 QA 데이터로 미세조정된 다국어 모델과 단일 언어 프랑스어 모델 간의 성능을 비교하여 다국어 간 전이 성능을 평가하기 위해.
• FQuAD2.0로 훈련된 모델의 확장성과 일반화 능력, 특히 산업적 배포 시에 모델 압축 기법의 잠재적 적용 가능성을 탐색하기 위해.

제안 방법

• 언어적 형태와 복잡성 면에서 답변 가능 질문과 유사하도록 17,000개 이상의 악성 공격적 답변이 불가능한 질문을 생성하여, 모델이 이를 식별하기 어려운 난이도를 확보한다.
• 기존 FQuAD1.1 데이터셋에 이러한 답변이 불가능한 샘플을 추가하여 총 약 80,000개의 질문을 포함한 FQuAD2.0를 구성한다.
• FQuAD2.0 훈련 세트를 기반으로 기저 및 대용량 버전의 CamemBERT 모델을 사용하여 답변 가능성 분류 및 스파이크 예측 작업에 대해 미세조정한다.
• 표준 평가 지표를 사용하여 개발 세트에서 모델 성능을 평가한다: 독해 이해에 대한 F1 점수와 답변 불가능 질문 탐지에 대한 F1 점수(NoAns F1).
• 영어 SQuAD2.0 데이터로 미세조정된 다국어 모델(예: mBERT, XLM-RoBERTa)을 사용하여 영어에서 프랑스어로의 제로샷 또는 소수의 샘플을 통한 전이 성능을 평가한다.
• 훈련 시 사용된 악성 공격적 샘플의 수를 다양하게 변화시켜 학습 곡선을 분석하여 데이터 효율성과 모델 수렴 특성을 평가한다.

실험 결과

연구 질문

• RQ1 FQuAD2.0로 훈련된 CamemBERT 기반 모델이 답변 가능 질문만으로 훈련된 모델에 비해 답변이 불가능한 질문을 탐지하는 데 얼마나 효과적인가?
• RQ2 악성 공격적 답변이 불가능한 질문을 포함한 혼합 데이터셋으로 훈련할 경우 독해 이해 정확도가 얼마나 떨어지는가?
• RQ3 FQuAD2.0로 훈련된 단일 언어 프랑스어 모델의 성능이 영어 QA 데이터로 미세조정된 다국어 모델의 제로샷 설정에서 어떻게 비교되는가?
• RQ4 FQuAD2.0는 답변 불가능성 탐지 및 질문의 모호성 측면에서 영어의 SQuAD2.0보다 더 도전적인가?
• RQ5 데이터 규모가 모델 성능에 미치는 영향은 무엇이며, 최적의 탐지 능력을 확보하기 위해 얼마나 많은 악성 공격적 샘플이 필요한가?

주요 결과

• 최고의 성능을 보인 모델인 미세조정된 CamemBERT LARGE는 독해 이해 과제에서 83%의 F1 점수와 답변 불가능성 탐지에서 82.3%의 F1 점수를 기록했다.
• FQuAD2.0로 훈련된 모델는 답변이 불가능한 질문을 식별하는 데서 명백한 향상이 있었으며, 특히 82.3%의 높은 NoAns F1 점수를 기록하여 강력한 불확실성 인식 예측 능력을 보였다.
• 모든 평가 지표에서 성능이 낮은 것으로 나타나 FQuAD2.0는 SQuAD2.0보다 훨씬 더 도전적인 데이터셋임을 입증하였으며, 특히 답변 불가능성 탐지에서 영어 대비 17% 낮은 NoAns F1 점수를 기록했다.
• 학습 곡선 분석 결과, 더 많은 악성 공격적 샘플을 사용할수록 성능이 향상됨을 확인하여 추가 데이터로 모델의 강건성 향상을 더욱 높일 수 있음을 시사했다.
• 영어 다국어 모델의 제로샷 전이 성능에 비해 FQuAD2.0로 단일 언어로 미세조정한 성능이 뛰어나, 최적의 성능을 내기 위해 언어 특화 데이터의 우수성을 입증했다.
• 초기 결과는 디스틸리케이션 및 양자화와 같은 모델 압축 기법이 자원이 제한된 또는 고처리량 산업 환경에서 대규모 모델의 효율적 배포를 가능하게 할 수 있음을 시사한다.