[論文レビュー] Neural Models for Offensive Language Detection

Ehab Hamdy|arXiv (Cornell University)|May 30, 2021

Hate Speech and Cyberbullying Detection参考文献 4被引用数 4

ひとこと要約

この修士論文は、Bertに基づくアーキテクチャと効率的な代替手法（例：BlazingText）を焦点に、攻撃的言語検出のためのニューラルネットワークモデルを評価している。RoBERTaが攻撃的言語検出タスクで最高のF1スコアを達成した一方、BlazingTextは著しく高速な推論を実現しており、リアルタイム応用に適していることが示された。

ABSTRACT

Offensive language detection is an ever-growing natural language processing (NLP) application. This growth is mainly because of the widespread usage of social networks, which becomes a mainstream channel for people to communicate, work, and enjoy entertainment content. Many incidents of sharing aggressive and offensive content negatively impacted society to a great extend. We believe contributing to improving and comparing different machine learning models to fight such harmful contents is an important and challenging goal for this thesis. We targeted the problem of offensive language detection for building efficient automated models for offensive language detection. With the recent advancements of NLP models, specifically, the Transformer model, which tackled many shortcomings of the standard seq-to-seq techniques. The BERT model has shown state-of-the-art results on many NLP tasks. Although the literature still exploring the reasons for the BERT achievements in the NLP field. Other efficient variants have been developed to improve upon the standard BERT, such as RoBERTa and ALBERT. Moreover, due to the multilingual nature of text on social media that could affect the model decision on a given tween, it is becoming essential to examine multilingual models such as XLM-RoBERTa trained on 100 languages and how did it compare to unilingual models. The RoBERTa based model proved to be the most capable model and achieved the highest F1 score for the tasks. Another critical aspect of a well-rounded offensive language detection system is the speed at which a model can be trained and make inferences. In that respect, we have considered the model run-time and fine-tuned the very efficient implementation of FastText called BlazingText that achieved good results, which is much faster than BERT-based models.

研究の動機と目的

• ソーシャルメディアにおける攻撃的言語検出のための最先端のニューラルモデルを評価すること。
• 特にRoBERTaとXLM-RoBERTaを比較して、多言語モデルと単一言語モデルの性能を検証すること。
• BlazingTextのようなモデルの推論速度と効率性を評価し、リアルタイムデプロイメントに適したかを検討すること。
• データ拡張とファインチューニング戦略がモデル性能に与える影響を調査すること。
• 攻撃的言語検出タスクにおけるトランスフォーマー基盤モデルおよび高速推論モデルの包括的ベンチマークを提供すること。

提案手法

• 攻撃的言語検出のためのシーケンス分類に、BERTおよびその変種（RoBERTa、ALBERT）を適用する。
• 事前学習済み言語モデルを攻撃的言語データセット上でファインチューニングすることで、トランスファー学習を実装する。
• 一般化性能の向上を目的に、バックトランスレーションなどのデータ拡張技術を適用する。
• PyTorchベースの高速モデルであるBlazingTextを導入し、BERTベースのモデルと比較して効率的な推論を実現する。
• ハイパーパramータチューニングと交差検証を実施し、モデル性能を最適化する。
• BERTおよびBlazingTextの入力形式に合わせた、トークン化、サブワードトークン化、入力フォーマット整備などの標準的な前処理パイプラインを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのトランスフォーマー基盤モデルが攻撃的言語検出タスクで最高のF1スコアを達成するか？
• RQ2 XLM-RoBERTaのような多言語モデルの性能は、単一言語モデル（例：RoBERTa）と比べてどうか？
• RQ3 BERTとBlazingTextを比較した場合、モデルの精度と推論速度のトレードオフはどのようなものか？
• RQ4 データ拡張技術は、モデルのロバスト性と一般化性能をどの程度向上させるか？
• RQ5 低リソースな攻撃的言語検出状況において、BERTベースのモデルのファインチューニング戦略はどの程度効果的か？

主な発見

• RoBERTaベースのモデルは、両方の攻撃的言語検出タスクで最高のF1スコアを達成し、BERTやその他の変種を上回った。
• BlazingTextは、BERTベースのモデルと比較して著しく高速な推論速度を示し、リアルタイム応用に適していることが明らかになった。
• 多言語モデル（例：XLM-RoBERTa）は強力な性能を示したが、評価されたデータセットではRoBERTaが優れていた。
• バックトランスレーションなどのデータ拡張技術は、特に低リソース環境においてモデルの一般化性能を向上させた。
• タスク固有のヘッドを用いたBERTベースのモデルのファインチューニングは、二値分類および多クラス分類の両方で一貫した性能向上をもたらした。
• 本研究は、RoBERTaが精度の観点から攻撃的言語検出に最も効果的であることを確認した一方、BlazingTextは速度が求められるデプロイメントに最適であることを示した。