[논문 리뷰] GigaBERT: Zero-shot Transfer Learning from English to Arabic

Wuwei Lan, Yang Chen외 2명|arXiv (Cornell University)|2020. 04. 30.

Natural Language Processing Techniques인용 수 21

한 줄 요약

GigaBERT는 아랍어 자연어 처리를 위해 특별히 사전 훈련된 이중 언어 BERT 모델로, 네 가지 정보 추출 작업에서 영어에서 아랍어로의 효과적인 제로샷 전이를 가능하게 한다. mBERT, XLM-RoBERTa, AraBERT보다 지도 학습 및 제로샷 설정 모두에서 뚜렷한 성능 향상을 보이며, 자원이 적은 아랍어 자연어 처리 분야에서 강력한 다국어 간 전이 능력을 입증한다.

ABSTRACT

Multilingual pre-trained Transformers, such as mBERT (Devlin et al., 2019) and XLM-RoBERTa (Conneau et al., 2020a), have been shown to enable the effective cross-lingual zero-shot transfer. However, their performance on Arabic information extraction (IE) tasks is not very well studied. In this paper, we pre-train a customized bilingual BERT, dubbed GigaBERT, that is designed specifically for Arabic NLP and English-to-Arabic zero-shot transfer learning. We study GigaBERT's effectiveness on zero-short transfer across four IE tasks: named entity recognition, part-of-speech tagging, argument role labeling, and relation extraction. Our best model significantly outperforms mBERT, XLM-RoBERTa, and AraBERT (Antoun et al., 2020) in both the supervised and zero-shot transfer settings. We have made our pre-trained models publicly available at this https URL.

연구 동기 및 목표

• 기존 다국어 모델이 아랍어 정보 추출 작업에서 제한된 성능을 보이는 문제를 해결하기 위해.
• 특화된 이중 언어 BERT 모델을 사전 훈련하여 영어에서 아랍어로의 제로샷 전이를 향상시키기 위해.
• 이름 추정, 품사 태깅, 역할 레이블링, 관계 추출을 포함한 다양한 아랍어 자연어 처리 작업에서 GigaBERT의 효과성을 평가하기 위해.
• 공개 제공 가능한 고성능 모델을 아랍어 자연어 처리 및 다국어 간 전이에 특화하여 제공하기 위해.

제안 방법

• 대규모 단일 언어 아랍어 및 영어 코퍼스를 기반으로 이중 언어 BERT 모델인 GigaBERT를 사전 훈련하여 다국어 표현 학습 능력을 향상시키기 위해.
• 하류 작업을 위해 영어 레이블이 부여된 데이터로 GigaBERT를 미세 조정하고, 아랍어 데이터에 대한 미세 조정 없이도 제로샷 전이를 평가하기 위해.
• BERT의 아키텍처적 강점을 활용하여 영어와 아랍어 간 의미 표현을 정렬하기 위해.
• 일반화 및 자원이 적은 환경에서의 강건성을 향상시키기 위해 대규모이고 다양한 다국어 데이터셋을 활용하기 위해.
• 전이 효과성을 평가하기 위해 네 가지 다른 정보 추출 작업에서 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 특화된 이중 언어 BERT 모델이 영어에서 아랍어로의 자연어 처리 작업에서 제로샷 전이 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 GigaBERT는 아랍어 정보 추출 작업에서 mBERT, XLM-RoBERTa, AraBERT와 비교해 제로샷 및 지도 학습 설정에서 어떻게 성능을 내는가?
• RQ3 아랍어와 영어에서의 이중 언어 사전 훈련이 자원이 적은 언어의 다국어 간 정렬 능력을 얼마나 향상시키는가?
• RQ4 GigaBERT는 아랍어에서 다양한 정보 추출 작업으로 일반화되는가?

주요 결과

• GigaBERT는 네 가지 정보 추출 작업에서 영어에서 아랍어로의 제로샷 전이에서 최고 성능을 기록한다.
• GigaBERT는 아랍어 NER, 품사 태깅, 역할 레이블링, 관계 추출 작업에서 mBERT, XLM-RoBERTa, AraBERT보다 지도 학습 및 제로샷 설정 모두에서 뚜렷한 성능 향상을 보인다.
• 결과는 특화된 이중 언어 사전 훈련이 특히 자원이 적은 언어인 아랍어와 같은 언어에서 다국어 간 전이 능력을 향상시킨다는 것을 입증한다.
• 성능 향상은 여러 자연어 처리 작업에서 일관되게 나타나 GigaBERT의 광범위한 적용 가능성과 강건성을 시사한다.