[논문 리뷰] Pre-trained Transformer-Based Approach for Arabic Question Answering : A Comparative Study

Kholoud Alsubhi, Amani Jamal외 1명|arXiv (Cornell University)|2021. 11. 10.

Topic Modeling인용 수 10

한 줄 요약

이 연구는 아랍어 읽기 이해 데이터셋 네 개—Arabic-SQuAD, ARCD, AQAD, TyDiQA-GoldP—에서 AraBERTv2-base, AraBERTv0.2-large, AraELECTRA를 피지테이닝 및 하이퍼파라미터 최적화를 통해 평가한다. AraBERTv0.2-large 모델이 특히 TyDiQA-GoldP에서 가장 높은 성능을 보였으며, 데이터셋의 품질과 데이터 오염(예: 비아랍어 텍스트)이 모델 성능에 영향을 주는 주요 요인으로 규명되었다.

ABSTRACT

Question answering(QA) is one of the most challenging yet widely investigated problems in Natural Language Processing (NLP). Question-answering (QA) systems try to produce answers for given questions. These answers can be generated from unstructured or structured text. Hence, QA is considered an important research area that can be used in evaluating text understanding systems. A large volume of QA studies was devoted to the English language, investigating the most advanced techniques and achieving state-of-the-art results. However, research efforts in the Arabic question-answering progress at a considerably slower pace due to the scarcity of research efforts in Arabic QA and the lack of large benchmark datasets. Recently many pre-trained language models provided high performance in many Arabic NLP problems. In this work, we evaluate the state-of-the-art pre-trained transformers models for Arabic QA using four reading comprehension datasets which are Arabic-SQuAD, ARCD, AQAD, and TyDiQA-GoldP datasets. We fine-tuned and compared the performance of the AraBERTv2-base model, AraBERTv0.2-large model, and AraELECTRA model. In the last, we provide an analysis to understand and interpret the low-performance results obtained by some models.

연구 동기 및 목표

• 질의응답을 위한 최신 사전학습된 아랍어 트랜스포머 모델의 성능 평가.
• 아랍어 QA에서 데이터셋 크기와 품질이 모델 성능에 미치는 영향 조사.
• 학습률 및 에포크 수와 같은 하이퍼파라미터 최적화를 통해 모델 성능 향상.
• 기울기 기반 설명 기법을 사용해 모델 행동 분석 및 해석 가능성 확보.
• Arabic-SQuAD, ARCD, AQAD, TyDiQA-GoldP를 포함한 다수의 벤치마크 데이터셋에서 피지테이닝된 모델 간 비교.

제안 방법

• Arabic-SQuAD, ARCD, AQAD, TyDiQA-GoldP라는 네 개의 아랍어 QA 데이터셋에서 AraBERTv2-base, AraBERTv0.2-large, AraELECTRA를 피지테이닝.
• 모든 데이터셋을 통합해 공동 피지테이닝을 수행하여 더 큰 학습 데이터의 영향 평가.
• 각 모델에 대해 초기 학습률과 학습 에포크 수를 포함한 하이퍼파라미터 최적화.
• 기울기 기반 설명 방법을 사용해 입력 토큰에 대한 주의 집중 및 모델 결정 과정 시각화.
• 표준 NLP 메트릭인 정확한 일치(EM) 및 F1 스코어를 사용해 모델 평가.
• 특히 데이터 품질과 언어적 오염(예: 비아랍어 텍스트)에 초점을 맞춰 데이터셋 간 성능 차이 분석.

실험 결과

연구 질문

• RQ1 AraBERTv2-base, AraBERTv0.2-large, AraELECTRA는 다양한 아랍어 QA 데이터셋에서 어떻게 성능을 내는가?
• RQ2 데이터셋 품질과 크기는 아랍어 질의응답에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 다양한 데이터셋에서의 공동 피지테이닝은 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 어떤 모델이 ARCD 및 AQAD와 같은 특정 데이터셋에서 성능이 떨어지는가?
• RQ5 기울기 기반 설명 기법은 아랍어 QA에서 모델 행동과 주의 패턴에 대한 통찰을 제공할 수 있는가?

주요 결과

• AraBERTv0.2-large는 TyDiQA-GoldP 데이터셋에서 86.49의 최고 F1 스코어를 기록하여 다른 모델과 이전 연구를 모두 앞섰다.
• ARCD 데이터셋에서 모델은 F1 스코어 75.14를 기록했으며, 성능 향상은 더 나은 데이터 품질과 노이즈 감소 덕분으로 보인다.
• AQAD 데이터셋은 모든 모델에서 일관되게 낮은 결과(F1: 67.40)를 보였으며, 이는 데이터 품질 또는 애너테이션 문제의 가능성을 시사한다.
• Arabic-ALBERT-xlarge 모델은 ARCD에서 AraBERTv0.2-large보다 약간 높은 EM(71.12)을 기록했으며(70.38), 이는 모델 아키텍처의 차이가 중요할 수 있음을 시사한다.
• 기울기 설명 분석 결과, AraBERTv0.2-large는 TyDiQA-GoldP에서 관련 스판에 정확히 주의를 기울였지만, AQAD에서는 실패했으며, 이는 저품질 데이터에서 모델의 혼란을 보여준다.
• Arabic-SQuAD와 ARCD에서의 열악한 성능은 번역 오류와 학습 예제 내 비아랍어 텍스트로 인해 발생했으며, 이는 서브워드 및 문자 수준의 노이즈를 유발했다.