[논문 리뷰] AraGPT2: Pre-Trained Transformer for Arabic Language Generation

Wissam Antoun, Fady Baly외 1명|arXiv (Cornell University)|2020. 12. 31.

Topic Modeling참고 문헌 35인용 수 15

한 줄 요약

AraGPT2는 인터넷 및 뉴스 텍스트로 구성된 대규모 아랍어 코퍼스를 기반으로 1.46억 파라미터 아키텍처에서 완전히 새로 훈련한, 아랍어 생성을 위한 첫 번째 대규모 사전 훈련된 GPT-2 스타일 트랜스포머 모델이다. 이 모델은 보류된 위키백과 기사에서 퍼플렉서티가 29.8이며, 텍스트 생성 평가에서 인간이 생성한 텍스트를 60%의 오분류율로 식별하지 못해 인간 수준의 텍스트 품질을 달성한다. 별도로 개발된 AraELECTRA 기반 판별기 모델은 모델이 생성한 콘텐츠를 98.7%의 F1 스코어로 탐지한다.

ABSTRACT

Recently, pre-trained transformer-based architectures have proven to be very efficient at language modeling and understanding, given that they are trained on a large enough corpus. Applications in language generation for Arabic are still lagging in comparison to other NLP advances primarily due to the lack of advanced Arabic language generation models. In this paper, we develop the first advanced Arabic language generation model, AraGPT2, trained from scratch on a large Arabic corpus of internet text and news articles. Our largest model, AraGPT2-mega, has 1.46 billion parameters, which makes it the largest Arabic language model available. The Mega model was evaluated and showed success on different tasks including synthetic news generation, and zero-shot question answering. For text generation, our best model achieves a perplexity of 29.8 on held-out Wikipedia articles. A study conducted with human evaluators showed the significant success of AraGPT2-mega in generating news articles that are difficult to distinguish from articles written by humans. We thus develop and release an automatic discriminator model with a 98% percent accuracy in detecting model-generated text. The models are also publicly available, hoping to encourage new research directions and applications for Arabic NLP.

연구 동기 및 목표

• 대규모 아랍어 코퍼스를 기반으로 완전히 새로 훈련한 GPT-2 트랜스포머 아키텍처를 기반으로 한 첫 번째 고급 아랍어 언어 생성 모델을 개발하는 것.
• 현재까지 주로 이해 작업을 위한 마스킹 언어 모델링에 집중한 바, 아랍어에 대한 최신 기술 수준의 언어 생성 모델 부족 문제를 해결하는 것.
• 제로샷 생성 및 질의응답 작업에서의 성능 평가와 함께, 인간 평가를 통한 텍스트의 통일성과 진정성 평가를 수행하는 것.
• AraGPT2의 공개 버전(베이스, 미디엄, 라지, 머지)과 전용 판별기 모델을 공개하여 향후 아랍어 NLP 분야의 연구를 지원하는 것.
• 모델 생성 텍스트의 오용을 방지하기 위해 고정확도 판별기 모델을 훈련하고 공개하여 기계 생성 아랍어 텍스트 탐지 기능을 제공하는 것.

제안 방법

• 인터넷 텍스트와 뉴스 기사로 구성된 필터링된 대규모 아랍어 코퍼스를 사용해 인과적 언어 모델링(CLM)을 통해 AraGPT2를 사전 훈련하는 것.
• 다양한 응용 요구사항을 충족하기 위해 베이스(135M), 미디엄(370M), 라지(792M), 머지(1.46B 파라미터)의 네 가지 모델 버전을 훈련하는 것.
• 자동 평가 지표로 보류된 위키백과 기사에서의 퍼플렉서티를 사용해 모델 성능을 평가하는 것.
• 12명의 참가자가 12篇의 기사(실제 기사 4편, AraGPT2-mega가 생성한 기사 4편, 인간이 작성한 기사 4편)를 짧은 형식과 긴 형식으로 분류하여 현실성 평가를 수행하는 인간 평가를 실시하는 것.
• 1,500편의 인간이 작성한 기사와 1,500편의 AraGPT2 생성 기사를 균형 있게 포함한 데이터셋을 기반으로 AraELECTRA 모델을 미세조정하여 고정확도 판별기 모델을 구축하는 것.
• 모델 생성 텍스트와 인간 생성 텍스트 간의 통계적 예측 가능성 차이를 활용하여 판별기 모델이 작동하는 원리를 활용하는 것. 모델 생성 텍스트는 인간 생성 텍스트보다 더 예측 가능하기 때문에, 이 특성을 효과적으로 활용할 수 있다.

실험 결과

연구 질문

• RQ1 대규모 아랍어 코퍼스에서 완전히 새로 훈련한 대규모 GPT-2 스타일 트랜스포머 모델이 고품질, 통일성 있는, 문법적으로 올바른 아랍어 텍스트 생성을 달성할 수 있는가?
• RQ2 AraGPT2-mega는 인간이 작성한 아랍어 뉴스 기사와 구분이 불가능한 수준으로 얼마나 높은 수준의 현실성을 달성할 수 있는가?
• RQ3 미세조정된 AraELECTRA 모델은 AraGPT2-mega가 생성한 텍스트를 얼마나 효과적으로 탐지할 수 있으며, 텍스트 길이가 탐지 성능에 영향을 미치는가?
• RQ4 AraGPT2의 보류된 위키백과 기사에서의 퍼플렉서티는 얼마이며, 제로샷 생성 작업에서 다른 언어 모델과 비교해 볼 때 어떤가?
• RQ5 AraGPT2 출력에 기반해 훈련된 판별기 모델은 인간 생성 아랍어 텍스트와 합성 텍스트를 구분하는 데 높은 정확도를 달성할 수 있는가?

주요 결과

• AraGPT2-mega는 보류된 위키백과 기사에서 퍼플렉서티가 29.8로, 강력한 언어 모델링 성능을 보였다.
• 인간 평가 결과, 참가자 60%가 AraGPT2-mega가 생성한 뉴스 기사를 인간이 작성한 것으로 잘못 분류했으며, 이는 매우 높은 현실성 수준을 의미한다.
• 인간 평가자들은 인간이 작성한 기사도 50%의 비율로 잘못 분류했으며, 이는 심지어 인간이 작성한 텍스트도 합성 텍스트와 쉽게 구분되지 않을 수 있음을 시사한다.
• 미세조정된 AraELECTRA 판별기는 짧은 입력(150 토큰)에서는 AraGPT2-mega 생성 텍스트 탐지에 98.7%의 F1 스코어를 기록했으며, 더 긴 입력(500 토큰)에서는 94.9%의 성능을 보였다.
• 판별기의 높은 정확도는 모델 생성 텍스트가 인간 생성 텍스트보다 더 예측 가능성이 높기 때문에 발생하며, 이 특성을 모델이 효과적으로 활용하고 있음을 의미한다.
• AraGPT2 버전과 판별기 모델의 공개는 대화형 에이전트 및 합성 텍스트 탐지 분야를 포함한 아랍어 NLP 분야의 새로운 연구 방향을 가능하게 한다.