[論文レビュー] Transfer Learning Approach for Arabic Offensive Language Detection System -- BERT-Based Model

Fatemah Husain, Özlem Uzuner|arXiv (Cornell University)|Feb 9, 2021

Hate Speech and Cyberbullying Detection参考文献 10被引用数 10

ひとこと要約

本稿では、アラビア語ソーシャルメディアにおける攻撃的言語を検出するための、BERTベースの転移学習手法を提案している。複数のアラビア語攻撃的言語データセットにおける微調整の評価が行われた。転移学習を活用しても、特に言語的方言性が強いコメントでは性能向上が限定的であることが判明し、アラビア語NLPタスクにおけるデータセット間一般化の課題が浮き彫りになった。

ABSTRACT

Developing a system to detect online offensive language is very important to the health and the security of online users. Studies have shown that cyberhate, online harassment and other misuses of technology are on the rise, particularly during the global Coronavirus pandemic in 2020. According to the latest report by the Anti-Defamation League (ADL), 35% of online users reported online harassment related to their identity-based characteristics, which is a 3% increase over 2019. Applying advanced techniques from the Natural Language Processing (NLP) field to support the development of an online hate-free community is a critical task for social justice. Transfer learning enhances the performance of the classifier by allowing the transfer of knowledge from one domain or one dataset to others that have not been seen before, thus, supporting the classifier to be more generalizable. In our study, we apply the principles of transfer learning cross multiple Arabic offensive language datasets to compare the effects on system performance. This study aims at investigating the effects of fine-tuning and training Bidirectional Encoder Representations from Transformers (BERT) model on multiple Arabic offensive language datasets individually and testing it using other datasets individually. Our experiment starts with a comparison among multiple BERT models to guide the selection of the main model that is used for our study. The study also investigates the effects of concatenating all datasets to be used for fine-tuning and training BERT model. Our results demonstrate the limited effects of transfer learning on the performance of the classifiers, particularly for highly dialectic comments.

研究の動機と目的

• 転移学習を用いて、強固なアラビア語攻撃的言語検出システムを構築すること。
• 複数のアラビア語攻撃的言語データセットにわたるBERTモデルの微調整の有効性を評価すること。
• 複数のデータセットを連結することで、モデルの一般化性能と性能が向上するかどうかを評価すること。
• 高レベルの方言的特徴を示すアラビア語テキストにおける攻撃的言語検出の課題を調査すること。
• 異なるBERTアーキテクチャが、アラビア語攻撃的言語検出においてどのように性能を発揮するかを比較すること。

提案手法

• 個々のアラビア語攻撃的言語データセットに対して、事前に学習済みの複数のBERTモデルを微調整すること。
• 未知のデータセットでのテストを通じて、ゼロショット一般化性能を評価する。
• 利用可能なすべての攻撃的言語データセットを連結し、統合されたBERTモデルを訓練すること。
• 異なるBERTバリアントの性能を比較し、アラビア語攻撃的言語検出に最も効果的なアーキテクチャを特定すること。
• F1スコア、適合率、再現率といった標準的な自然言語処理評価指標を用いて、分類器の性能を測定すること。
• 学習中に観測されていないターゲットデータセットへ、知識を転送する転移学習の原則を適用すること。

実験結果

リサーチクエスチョン

• RQ1 個々のアラビア語攻撃的言語データセット上でBERTを微調整することで、検出性能が向上するか？
• RQ2 未知のアラビア語攻撃的言語データセットに対してテストした場合、転移学習はどの程度効果的か？
• RQ3 複数のデータセットを統合して学習させることで、モデルの一般化性能と性能にどのような影響を与えるか？
• RQ4 異なるBERTアーキテクチャは、アラビア語における攻撃的言語検出において、どのように性能を発揮するか？
• RQ5 言語的変異と方言の多様性が、アラビア語攻撃的言語検出における転移学習の有効性をどの程度制限するか？

主な発見

• 個々のデータセット上でBERTモデルを微調整することで中程度の性能向上が得られるが、異なるテストセットでは向上が限定的である。
• 転移学習は限定的な有効性を示しており、特に言語的方言性が強いアラビア語コメントにおける攻撃的コンテンツ検出では顕著である。
• すべてのデータセットを連結して学習させても、未知のデータセットにおけるモデルの一般化性能や性能は顕著に向上しない。
• 言語的変動と方言の多様性のため、アラビア語攻撃的言語検出におけるデータセット間転送には顕著な課題が存在することが判明した。
• データセット間で性能に顕著な差が認められ、あるデータセットで学習したモデルが他のデータセットにうまく一般化しないことが示された。
• 評価されたBERTモデルの中で、特定のアーキテクチャがすべてのテスト状況で一貫して優れた性能を発揮するものではなく、データセット固有の特性に敏感であることが示された。