[論文レビュー] BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets

Fouzi Harrag, Maria Dabbah+2 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 14被引用数 7

ひとこと要約

本論文では、独自に構築した人間が書いたものとGPT2-Small-Arabicで生成されたアラビア語ツイートのデータセットを用いたトランスフォーマー型モデルのファインチューニングにより、GPT2-Small-Arabicで生成されたアラビア語テキストを検出する手法を提案している。モデルは98％の正確性を達成し、アラビア語の合成テキストを分類するためにARABERTとGPT2を組み合わせた最初の研究であり、LSTM や GRU といったRNNベースのベースラインを上回っている。

ABSTRACT

During the last two decades, we have progressively turned to the Internet and social media to find news, entertain conversations and share opinion. Recently, OpenAI has developed a ma-chine learning system called GPT-2 for Generative Pre-trained Transformer-2, which can pro-duce deepfake texts. It can generate blocks of text based on brief writing prompts that look like they were written by humans, facilitating the spread false or auto-generated text. In line with this progress, and in order to counteract potential dangers, several methods have been pro-posed for detecting text written by these language models. In this paper, we propose a transfer learning based model that will be able to detect if an Arabic sentence is written by humans or automatically generated by bots. Our dataset is based on tweets from a previous work, which we have crawled and extended using the Twitter API. We used GPT2-Small-Arabic to generate fake Arabic Sentences. For evaluation, we compared different recurrent neural network (RNN) word embeddings based baseline models, namely: LSTM, BI-LSTM, GRU and BI-GRU, with a transformer-based model. Our new transfer-learning model has obtained an accuracy up to 98%. To the best of our knowledge, this work is the first study where ARABERT and GPT2 were combined to detect and classify the Arabic auto-generated texts.

研究の動機と目的

• アラビア語SNSにおけるAI生成フェイクニュースの増加する脅威に対処するため、信頼性の高い検出システムを開発すること。
• トレーニングおよび評価用に、人間が書いたものとGPT2生成の両方を含む、高品質で拡張されたアラビア語ツイートデータセットを構築すること。
• RNNベースのモデル（LSTM、BI-LSTM、GRU、BI-GRU）とトランスフォーマー型モデルの間で、合成アラビア語テキスト検出の性能を比較すること。
• ARABERTを用いたトランスファーラーニングの有効性が、人間生成と機械生成のアラビア語文を区別する能力に与える影響を調査すること。

提案手法

• 著者らは、Twitter APIを用いて、実際の人間が書いたコンテンツとGPT2-Small-Arabicで生成されたテキストを含む、アラビア語ツイートのデータセットを収集・拡張した。
• 彼らは、アラビア語に最適化された多言語BERTの変種であるARABERT baseモデルを、統合されたデータセット上でシーケンス分類のためのファインチューニングした。
• モデルは、トランスフォーマーのエンコーダーから得られる文脈依存の埋め込みを用いて、入力シーケンスを人間が書いたものかGPT2で生成されたものか分類する。
• 性能は、ホールドアウトされたテストセット上で、標準的な自然言語処理指標（正確性、適合率、再現率、F1スコア）を用いて評価された。
• 本研究では、GloVe や FastText などの単語埋め込みを用いてトレーニングされたLSTM、BI-LSTM、GRU、BI-GRU といったRNNベースのベースラインと、ARABERTの性能を比較した。
• ARABERTモデルの性能を最適化するために、ハイパーパramータチューニングと交差検証が適用された。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされたARABERTモデルは、人間が書いたアラビア語ツイートとGPT2で生成されたものとを効果的に区別できるか？
• RQ2 トランスフォーマー型モデルとRNNベースのモデルの間で、合成アラビア語テキスト検出の性能にどのような差があるか？
• RQ3 ARABERTを用いたトランスファーラーニングは、AI生成アラビア語コンテンツの検出精度にどのような影響を与えるか？
• RQ4 トレーニングデータセットの質とサイズは、モデルの検出性能にどの程度の影響を与えるか？

主な発見

• ARABERTベースのモデルは、テスト正確性が98％に達し、LSTM、BI-LSTM、GRU、BI-GRU といったすべてのRNNベースのベースラインを顕著に上回った。
• トランスフォーマー型アプローチは、特にアラビア語テキストにおける長距離依存関係を捉える能力において、再帰型モデルに比べて優れた汎化性能と文脈理解能力を示した。
• 本研究は、ARABERTのような多言語BERTの変種を合成アラビア語テキストにファインチューニングすることで、最先端の検出性能が得られることを確認した。
• ARABERTとGPT2-Small-Arabicを組み合わせた検出タスクの統合は、アラビア語NLP分野における文献上、初めての試みである。