[論文レビュー] Leveraging Affective Bidirectional Transformers for Offensive Language Detection

AbdelRahim Elmadany, Chiyu Zhang+2 more|arXiv (Cornell University)|May 1, 2020

Hate Speech and Cyberbullying Detection参考文献 25被引用数 6

ひとこと要約

本論文では、微調整された感情バイアシングトランスフォーマーを用いて、アラビア語における攻撃的言語および嫌がらせ発言の検出のためのディープラーニング手法を提案する。事前学習済みの感情および感情モデルを用いたトランスファー学習と、自動データ拡張を適用することで、著者らは公式テストデータ上で89.60%の正確性と82.31%のマクロF1を達成し、アンサンブルBertを上回った。

ABSTRACT

Social media are pervasive in our life, making it necessary to ensure safe online experiences by detecting and removing offensive and hate speech. In this work, we report our submission to the Offensive Language and hate-speech Detection shared task organized with the 4th Workshop on Open-Source Arabic Corpora and Processing Tools Arabic (OSACT4). We focus on developing purely deep learning systems, without a need for feature engineering. For that purpose, we develop an effective method for automatic data augmentation and show the utility of training both offensive and hate speech models off (i.e., by fine-tuning) previously trained affective models (i.e., sentiment and emotion). Our best models are significantly better than a vanilla BERT model, with 89.60% acc (82.31% macro F1) for hate speech and 95.20% acc (70.51% macro F1) on official TEST data.

研究の動機と目的

• 手動による特徴工学を一切行わず、純粋にディープラーニングベースのシステムを構築すること。
• 事前学習済みの感情モデル（感情および感情）からのトランスファー学習の有効性を検証すること。
• アラビア語テキストに特化した自動データ拡張技術を用いて、モデルの汎化性能を向上させること。
• アラビア語の攻撃的言語および嫌がらせ発言検出のOSACT4共有タスクで最先端のパフォーマンスを達成すること。

提案手法

• 攻撃的言語および嫌がらせ発言検出の基盤として、事前学習済みの感情および感情モデルを微調整すること。
• 訓練データの多様性とモデルの頑健性を向上させるために、自動データ拡張手法を適用すること。
• 手作業による特徴量なしに、拡張済みデータを用いてエンドツーエンドのディープニューラルネットワークを訓練すること。
• 分類のためのタスク固有のヘッド層を備えた、BERTベースのアーキテクチャをバックボーンモデルとして使用すること。
• クロスエントロピー損失と標準的な微調整手順を用いて、OSACT4共有タスクデータセット上でモデルを最適化すること。
• 主な指標として正確性とマクロF1を用いて、公式テストセットでのパフォーマンスを評価すること。

実験結果

リサーチクエスチョン

• RQ1 特徴工学を一切行わず、事前学習済みの感情モデルが、アラビア語における攻撃的言語検出を顕著に改善できるか？
• RQ2 自動データ拡張は、低リソースな攻撃的言語検出において、モデルの汎化性能を向上させるのにどの程度効果的か？
• RQ3 感情および感情モデルからのトランスファー学習は、初期化から学習を開始する場合と比較して、嫌がらせ発言検出でより良いパフォーマンスをもたらすか？
• RQ4 微調整された感情トランスフォーマーは、アラビア語における攻撃的言語検出で、アンサンブルBertをどの程度上回るか？

主な発見

• 提案手法は、嫌がらせ発言検出タスクで公式テストデータ上で89.60%の正確性と82.31%のマクロF1を達成し、アンサンブルBertを顕著に上回った。
• 攻撃的言語検出では、公式テストデータ上で95.20%の正確性と70.51%のマクロF1を達成し、優れたパフォーマンスを示した。
• 事前学習済みの感情モデルの微調整は、標準的なBertの微調整よりも顕著な向上をもたらした。これは、感情の事前知識の価値を示している。
• 自動データ拡張技術は、低リソースなアラビア語テキストにおけるモデルの汎化性能と頑健性の向上に寄与した。
• 結果から、感情および感情モデルからのトランスファー学習が、アラビア語における攻撃的言語検出において実用的で効果的な戦略であることが確認された。
• 本システムはOSACT4共有タスクで最先端のパフォーマンスを達成し、提案手法の有効性が裏付けられた。