[論文レビュー] Offensive Language Detection with BERT-based models, By Customizing Attention Probabilities

Peyman Alavi, Pouria Nikvand+1 more|arXiv (Cornell University)|Oct 11, 2021

Hate Speech and Cyberbullying Detection被引用数 8

ひとこと要約

本稿では、Multinomial Naive Bayes確率から導出された攻撃的スコアを用いて注意マスクをカスタマイズすることで、BERTベースのモデルの攻撃的言語検出性能を向上させる手法を提案する。注意確率を攻撃的表現に重点を置くように再重み付けすることにより、ペルシャ語データセットではF1-macroスコアが最大10%向上し、英語データセットでは2%向上し、言語やモデルアーキテクチャを問わず有効性を示している。

ABSTRACT

This paper describes a novel study on using `Attention Mask' input in transformers and using this approach for detecting offensive content in both English and Persian languages. The paper's principal focus is to suggest a methodology to enhance the performance of the BERT-based models on the `Offensive Language Detection' task. Therefore, we customize attention probabilities by changing the `Attention Mask' input to create more efficacious word embeddings. To do this, we firstly tokenize the training set of the exploited datasets (by BERT tokenizer). Then, we apply Multinomial Naive Bayes to map these tokens to two probabilities. These probabilities indicate the likelihood of making a text non-offensive or offensive, provided that it contains that token. Afterwards, we use these probabilities to define a new term, namely Offensive Score. Next, we create two separate (because of the differences in the types of the employed datasets) equations based on Offensive Scores for each language to re-distribute the `Attention Mask' input for paying more attention to more offensive phrases. Eventually, we put the F1-macro score as our evaluation metric and fine-tune several combinations of BERT with ANNs, CNNs and RNNs to examine the effect of using this methodology on various combinations. The results indicate that all models will enhance with this methodology. The most improvement was 2% and 10% for English and Persian languages, respectively.

研究の動機と目的

• 注意メカニズムを動的に調整することで、BERTベースのモデルの攻撃的言語検出性能を向上させること。
• 標準的な注意機構が微細な攻撃的兆候を逃すという限界を克服し、高影響度の攻撃的表現に注目を向けること。
• 英語とペルシャ語に適用可能な言語に依存しない手法を構築し、異なるデータセットで検証すること。
• 攻撃的コンテンツの統計的確率推定を用いた注意マスクカスタマイズの影響を調査すること。
• 提案された注意再重み付けを用いて微調整された多様なアーキテクチャ（CNN、RNN、ANN）において一貫した性能向上を実証すること。

提案手法

• 訓練データをBERTのトークナイザーでトークン化し、攻撃的／非攻撃的ラベルのトークンレベル確率に基づいてMultinomial Naive Bayesを用いて攻撃的スコアを計算する。
• 言語固有の式を定義し、攻撃的スコアに基づいて注意マスク値を再配分することで、高スコアのトークンに注目を集中させる。
• 修正された注意マスクをBERTベースのモデルに統合し、標準的な注意入力を置き換えることで、攻撃的表現に注目を向けるように誘導する。
• BERTとフィードフォワードネットワーク、CNN、RNN（BiLSTM、BiGRU）、ハイブリッドアーキテクチャのさまざまな組み合わせを、OLID（英語）およびPOLID（ペルシャ語）データセットで微調整する。
• 5-fold交差検証における各foldでのモデル性能を評価する主な指標としてF1-macroを用いる。
• 標準モデルが誤分類したケースを特定するための誤差分析を実施し、特に慣用的表現や文脈的攻撃的表現を含むケースで、強化されたモデルが正しく分類したことを確認する。

実験結果

リサーチクエスチョン

• RQ1 攻撃的スコアを用いた注意マスクの再重み付けが、BERTベースのモデルの攻撃的言語検出におけるF1-macroスコアの向上に寄与するか。
• RQ2 提案された注意カスタマイズは、異なるニューラルアーキテクチャ（例：CNN、RNN、フィードフォワードネットワーク）におけるモデル性能にどのように影響を与えるか。
• RQ3 異なる言語的構造を有する英語とペルシャ語の間で、この手法がどの程度一般化可能か。
• RQ4 強化されたモデルの失敗事例は何か。また、希少または曖昧な攻撃的語彙の攻撃的スコア推定における限界は何か。
• RQ5 トークンごとの手動アノテーションを必要とせず、Multinomial Naive Bayesによる攻撃的確率の統計的推定が、注意再重み付けを効果的に誘導できるか。

主な発見

• 提案手法は、ペルシャ語のPOLIDデータセットにおいてF1-macroスコアを最大10%向上させ、最高性能を示したモデル（CNN2D + 式6）は平均F1が0.8630に達した。
• 英語のOLIDデータセットでは、F1-macroスコアに最大2%の向上が得られ、最高性能のモデル（CNN2D + 式6）は平均F1が0.8630に達した。
• テストされたすべてのモデルアーキテクチャ（BiLSTM、BiGRU、CNN2D、CNN-BiLSTM、KUISAIL）が、カスタマイズされた注意マスクを用いることで一貫した性能向上を示した。
• 誤差分析により、標準モデルが誤分類した慣用的または文脈的攻撃的表現（例：ペルシャ語の慣用句「muzmaars」）を、強化されたモデルが正しく分類したことが確認された。
• 攻撃的スコアが低いトークン（例：スコアが約0.53の攻撃的語）では、Multinomial Naive Bayesによる確率推定が不十分であるため、モデルが失敗した。これは、スコアのキャリブレーションに限界があることを示唆している。
• 多様なアーキテクチャにわたり、この手法が頑健であることが示された。これは、注意マスクカスタマイズが攻撃的言語検出において汎用的な改善手法である可能性を示している。