[논문 리뷰] Pre-Training BERT on Arabic Tweets: Practical Considerations

Ahmed Abdelalí, Sabit Hassan외 3명|arXiv (Cornell University)|2021. 02. 21.

Natural Language Processing Techniques참고 문헌 24인용 수 83

한 줄 요약

이 논문은 아랍어 트윗에서 처음부터 BERT 모델을 훈련시키는 것을 분석하고, 데이터 소스, 구분 방식(segmentation) 및 학습 체계를 비교하며, 여러 작업에 걸친 심층 평가와 함께 QARiB 체크포인트를 공개한다.

ABSTRACT

Pretraining Bidirectional Encoder Representations from Transformers (BERT) for downstream NLP tasks is a non-trival task. We pretrained 5 BERT models that differ in the size of their training sets, mixture of formal and informal Arabic, and linguistic preprocessing. All are intended to support Arabic dialects and social media. The experiments highlight the centrality of data diversity and the efficacy of linguistically aware segmentation. They also highlight that more data or more training step do not necessitate better models. Our new models achieve new state-of-the-art results on several downstream tasks. The resulting models are released to the community under the name QARiB.

연구 동기 및 목표

• 트윗 도메인에서 아랍어 BERT에 대해 처음부터(scratch) 사전 학습을 수행하는 것이 타당한 시점을 평가한다.
• 데이터 규모, 데이터 혼합(형식적 + 비형식적), 및 구분 방식이 성능에 어떤 영향을 미치는지 결정한다.
• 아랍어 데이터에 대해 언어 특화 토큰화와 언어-독립적 토큰화 접근법을 평가한다.
• 다양한 NLP 태스크에 걸쳐 QARiB 모델과 기존의 아랍어 BERT 변형들을 비교한다.
• 연구 가속화 및 다운스트림 파인튜닝을 위한 사전 학습 체크포인트를 제공한다.

제안 방법

• 다양한 데이터 소스와 구분(Farasa vs. 무 Farasa) 및 데이터 규모(10M–330M 트윗)를 사용하여 다섯 개의 QARiB 모델을 처음부터 훈련시킨다.
• 언어 독립적 구분을 갖춘 BPE 기반 토큰화를 사용하고 Farasa로 구분된 버전과 비교한다.
• 학습 시간을 줄이기 위해 TPU 하드웨어에서 단일 태스크 목표(마스킹된 언어 모델링)로 15% 마스킹을 적용해 모델을 사전 학습한다.
• NER, 감정, 공격성 언어 탐지, 방언 식별, 감성 등 다양한 태스크에 대해 태스크-특정 데이터세트를 사용하여 모델을 평가한다.
• 해당 체크포인트에서 세 가지 아랍어 및 다국어 Baseline(AraBERTv0.1/v1, ArabicBERT, mBERT)과 비교한다.

실험 결과

연구 질문

• RQ1 트윗 데이터를 위한 아랍어 BERT 모델을 효과적으로 구축하려면 어느 정도의 데이터 규모가 필요한가?
• RQ2 형식적 아랍어를 비공식 트윗과 혼합하는 것이 트윗만으로 학습했을 때보다 다운스트림 성능을 향상시키는가?
• RQ3 언어 특화 구분(Farasa) 이 Arabic 트윗에서 BPE-전용 토큰화 대비 의미있게 성능을 향상시키는가?
• RQ4 도메인 내 데이터(트윗)일 때, 어휘 커버리지를 고려하여 기존 모델을 미세 조정하는 것보다 처음부터의 사전 학습이 더 효과적인가?
• RQ5 손실만을 기준으로 하지 않고 다양한 태스크에 대해 최적의 훈련 체크포인트를 어떻게 결정해야 하는가?

주요 결과

• 데이터를 10M에서 25M 트윗으로 늘리면 성능이 향상되지만, 25M를 넘으면 일부 경우에서 수익이 감소한다.
• 트윗과 형식적 아랍어 데이터를 혼합하는 것이 다운스트림 트윗 태스크에서 트윗만 학습하는 것보다 성능이 더 좋다.
• 언어학적으로 의도된 구분(Farasa)은 일부 태스크에서 상당한 향상을 보이며 AraBERT 계열의 결과와 일치한다.
• 체크포인트는 중요하다; 더 많은 학습 단계가 반드시 더 나은 결과를 보장하지 않으며, 다중 태스크 평가를 통해 최적의 체크포인트를 식별하는 데 도움이 된다.
• 혼합 데이터와 Farasa 구분을 사용하는 QARiB 모델들(QARiB25_mix_far 등)은 강력한 결과를 달성하여 다수의 태스크에서 mBERT를 능가하고, AraBERT 및 ArabicBERT와 견줄 만하거나 더 강한 성능을 보인다.