[논문 리뷰] BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets

Fouzi Harrag, Maria Dabbah외 2명|arXiv (Cornell University)|2021. 01. 01.

Topic Modeling참고 문헌 14인용 수 7

한 줄 요약

이 논문은 인간이 작성한 텍스트와 GPT2-Small-Arabic로 생성된 아랍어 트윗을 포함하는 맞춤형 데이터셋을 기반으로 전이 학습을 활용하여, GPT2-Small-Arabic로 생성된 아랍어 텍스트를 탐지하기 위해 최적화된 ARABERT 기반 트랜스포머 모델을 제안한다. 이 모델은 98%의 정확도를 기록하며, 아랍어 합성 텍스트를 분류하기 위해 ARABERT와 GPT2를 조합한 첫 번째 연구로, LSTM 및 GRU와 같은 RNN 기반 기준 모델들을 능가한다.

ABSTRACT

During the last two decades, we have progressively turned to the Internet and social media to find news, entertain conversations and share opinion. Recently, OpenAI has developed a ma-chine learning system called GPT-2 for Generative Pre-trained Transformer-2, which can pro-duce deepfake texts. It can generate blocks of text based on brief writing prompts that look like they were written by humans, facilitating the spread false or auto-generated text. In line with this progress, and in order to counteract potential dangers, several methods have been pro-posed for detecting text written by these language models. In this paper, we propose a transfer learning based model that will be able to detect if an Arabic sentence is written by humans or automatically generated by bots. Our dataset is based on tweets from a previous work, which we have crawled and extended using the Twitter API. We used GPT2-Small-Arabic to generate fake Arabic Sentences. For evaluation, we compared different recurrent neural network (RNN) word embeddings based baseline models, namely: LSTM, BI-LSTM, GRU and BI-GRU, with a transformer-based model. Our new transfer-learning model has obtained an accuracy up to 98%. To the best of our knowledge, this work is the first study where ARABERT and GPT2 were combined to detect and classify the Arabic auto-generated texts.

연구 동기 및 목표

• 아랍어 소셜 미디어에서 증가하는 인공지능 생성 가짜 정보의 위협을 해결하기 위해 신뢰할 수 있는 탐지 시스템을 개발하기 위해.
• 훈련 및 평가를 위해 인간이 작성한 아랍어 트윗과 GPT2 생성 샘플을 포함하는 고품질의 확장된 아랍어 트윗 데이터셋을 구축하기 위해.
• 합성 아랍어 텍스트를 탐지하기 위해 RNN 기반 모델(LSTM, BI-LSTM, GRU, BI-GRU)과 트랜스포머 기반 모델의 성능을 비교하기 위해.
• ARABERT를 사용한 전이 학습이 인간이 작성한 문장과 기계가 생성한 문장 간의 구분에 얼마나 효과적인지 조사하기 위해.

제안 방법

• 저자들은 트위터 API를 사용하여 인간이 작성한 실제 콘텐츠와 GPT2-Small-Arabic로 생성된 텍스트를 포함하는 아랍어 트윗 데이터셋을 수집하고 확장하였다.
• 그들은 통합된 데이터셋을 기반으로 시퀀스 분류를 위해 ARABERT base 모델 — 아랍어에 최적화된 다국어 BERT 변종 — 을 미세조정하였다.
• 모델은 트랜스포머 인코더에서 유도된 문맥 기반 임bedding을 사용하여 입력 시퀀스를 인간이 작성한 것인지 GPT2로 생성된 것인지 분류한다.
• 성능 평가는 보류된 테스트 세트에서 정확도, 정밀도, 재현율, F1 점수와 같은 표준 자연어 처리 지표를 사용하여 평가되었다.
• 이 연구에서는 ARABERT의 성능을 GloVe 및 FastText와 같은 단어 임베딩을 사용해 훈련한 RNN 기반 기준 모델(LSTM, BI-LSTM, GRU, BI-GRU)과 비교하였다.
• 모델 성능을 최적화하기 위해 초모수 튜닝과 교차 검증이 적용되었다.

실험 결과

연구 질문

• RQ1 최적화된 ARABERT 모델은 인간이 작성한 아랍어 트윗과 GPT2로 생성된 아랍어 트윗을 효과적으로 구분할 수 있는가?
• RQ2 합성 아랍어 텍스트를 탐지할 때 트랜스포머 기반 모델의 성능은 RNN 기반 모델과 비교해 어떻게 다른가?
• RQ3 ARABERT를 사용한 전이 학습이 인공지능으로 생성된 아랍어 콘텐츠 탐지 정확도에 어떤 영향을 미치는가?
• RQ4 훈련 데이터셋의 품질과 크기가 모델의 탐지 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• ARABERT 기반 모델은 테스트 정확도 98%를 기록하였으며, LSTM, BI-LSTM, GRU, BI-GRU와 같은 모든 RNN 기반 기준 모델들을 뛰어넘었다.
• 트랜스포머 기반 접근 방식은 특히 아랍어 텍스트에서 장거리 의존성을 포착하는 데 있어 재귀 모델 대비 뛰어난 일반화 능력과 문맥 이해 능력을 보였다.
• 이 연구는 ARABERT와 같은 다국어 BERT 변종을 합성 아랍어 텍스트에 대해 미세조정할 경우 최신 기술 수준의 탐지 성능을 달성할 수 있음을 확인한다.
• ARABERT와 GPT2-Small-Arabic를 결합하여 탐지 작업을 수행한 것은 새로움을 이루었으며, 아랍어 NLP 분야에서 문헌상 처음으로 이러한 통합이 이루어진 것이다.