[논문 리뷰] A Focused Study to Compare Arabic Pre-training Models on Newswire IE Tasks

Wuwei Lan, Yang Chen외 2명|arXiv (Cornell University)|2020. 04. 30.

Topic Modeling참고 문헌 8인용 수 4

한 줄 요약

이 논문은 아랍어-영어 이중 언어 모델인 GigaBERT를 소개한다. GigaBERT는 아랍어 Gigaword 데이터를 기반으로 사전 훈련하여 아랍어 정보 추출**(IE)** 작업에 대한 다국어 간 전이 성능을 평가하기 위해 개발되었다. GigaBERT는 NER, POS, ARL에서 mBERT와 XLM-R-base를 능가하며, 강력한 제로샷 전이 능력을 보이며 아랍어 IE 분야의 새로운 벤치마크를 설정한다.

ABSTRACT

The Arabic language is a morphological rich language, posing many challenges for information extraction (IE) tasks, including Named Entity Recognition (NER), Part-of-Speech tagging (POS), Argument Role Labeling (ARL) and Relation Extraction (RE). A few multilingual pre-trained models have been proposed and show good performance for Arabic, however, most experiment results are reported on language understanding tasks, such as natural language inference, question answering and sentiment analysis. Their performance on the IE tasks is less known, in particular, the cross-lingual transfer capability from English to Arabic. In this work, we pre-train a Gigaword-based bilingual language model (GigaBERT) to study these two distant languages as well as zero-short transfer learning on the information extraction tasks. Our GigaBERT model can outperform mBERT and XLM-R-base on NER, POS and ARL tasks, with regarding to the per-language and/or zero-transfer performance. We make our pre-trained models publicly available at this https URL to facilitate the research of this field.

연구 동기 및 목표

• 다국어 사전 훈련 모델이 아랍어 정보 추출**(IE)** 작업에 대해 어떻게 성능을 내는지 조사하기 위해, 언어 이해 작업에서는 뛰어난 성과를 보였음에도 불구하고 여전히 미비하게 다뤄지고 있는 아랍어 IE 작업에 초점을 맞춘다.
• 특히 제로샷 설정에서 영어에서 아랍어로의 다국어 간 전이 능력을 평가하기 위해.
• 정보 추출**(IE)** 작업에 특화된 고성능이며 공개 가능한 아랍어-영어 사전 훈련 모델을 개발하고 배포하기 위해.
• 이름 있는 실체 인식, 품사 태깅, 관계 역할 레이블링, 관계 추출 등의 작업에서 GigaBERT의 효과성과 기존 모델인 mBERT와 XLM-R-base의 효과성을 비교하기 위해.

제안 방법

• 대규모 아랍어 Gigaword 코퍼스를 기반으로 아랍어 특화 표현 학습을 향상시키기 위해 이중 언어 모델**(GigaBERT)** 을 사전 훈련한다.
• 아랍어와 같은 형태적 구조가 풍부한 언어에서 문맥적 의존성을 포착하기 위해 사전 훈련 중 마스킹 언어 모델링 목적함수를 활용한다.
• 영어 데이터로의 피니팅 없이 아랍어 IE 작업에 대해 모델을 피니팅함으로써 제로샷 전이 성능을 평가한다.
• GigaBERT의 성능을 NER, POS, ARL, RE 등 여러 아랍어 IE 벤치마크에서 mBERT와 XLM-R-base와 비교한다.
• 향후 아랍어 NLP 연구를 지원하기 위해 사전 훈련된 GigaBERT 모델을 공개한다.

실험 결과

연구 질문

• RQ1 GigaBERT는 NER, POS, ARL와 같은 아랍어 정보 추출**(IE)** 작업에서 mBERT와 XLM-R-base에 비해 어떻게 성능을 내는가?
• RQ2 영어에서 아랍어로의 제로샷 다국어 간 전이가 아랍어 IE 작업의 성능 향상에 얼마나 기여하는가?
• RQ3 대규모 아랍어 단일 언어 코퍼스**(Gigaword)** 에서 사전 훈련하는 것이 다국어 모델보다 아랍어 IE 작업에서 더 나은 성능을 내는가?
• RQ4 GigaBERT는 아랍어 IE의 자원이 부족한 또는 제로샷 설정에서 상대적으로 얼마나 효과적인가?

주요 결과

• GigaBERT는 각 언어 설정과 제로샷 전이 설정 모두에서 이름 있는 실체 인식**(NER)** 에서 mBERT와 XLM-R-base를 능가한다.
• GigaBERT는 특히 제로샷 시나리오에서 품사 태깅**(POS)** 에서 mBERT와 XLM-R-base보다 뛰어난 성능을 기록한다.
• GigaBERT는 관계 역할 레이블링**(ARL)** 에서도 강력한 성능을 보이며, 피니팅된 설정과 제로샷 전이 설정 모두에서 mBERT와 XLM-R-base를 능가한다.
• 모델는 다국어 간 전이 능력이 뛰어나, 영어 데이터로의 피니팅 없이도 아랍어 단일 언어 데이터에서 사전 훈련한 결과가 후속 IE 작업 성능 향상에 기여함을 시사한다.
• GigaBERT의 배포는 아랍어 NLP 분야, 특히 정보 추출**(IE)** 작업을 위한 새로운 공개 벤치마크를 제공한다.