[論文レビュー] Leveraging Multilingual Transformers for Hate Speech Detection

Sayar Ghosh Roy, Ujwal Narayan+3 more|arXiv (Cornell University)|Jan 8, 2021

Hate Speech and Cyberbullying Detection参考文献 16被引用数 26

ひとこと要約

本論文は多言語Transformerモデル（XLM-RoBERTa）を用いて英語・ドイツ語・ヒンディー語のヘイトスピーチを検出・分類し、強力なマクロF1スコアを達成し、Perspective APIの特徴量と特徴選択を分析する。

ABSTRACT

Detecting and classifying instances of hate in social media text has been a problem of interest in Natural Language Processing in the recent years. Our work leverages state of the art Transformer language models to identify hate speech in a multilingual setting. Capturing the intent of a post or a comment on social media involves careful evaluation of the language style, semantic content and additional pointers such as hashtags and emojis. In this paper, we look at the problem of identifying whether a Twitter post is hateful and offensive or not. We further discriminate the detected toxic content into one of the following three classes: (a) Hate Speech (HATE), (b) Offensive (OFFN) and (c) Profane (PRFN). With a pre-trained multilingual Transformer-based text encoder at the base, we are able to successfully identify and classify hate speech from multiple languages. On the provided testing corpora, we achieve Macro F1 scores of 90.29, 81.87 and 75.40 for English, German and Hindi respectively while performing hate speech detection and of 60.70, 53.28 and 49.74 during fine-grained classification. In our experiments, we show the efficacy of Perspective API features for hate speech classification and the effects of exploiting a multilingual training scheme. A feature selection study is provided to illustrate impacts of specific features upon the architecture's classification head.

研究の動機と目的

• 多言語ソーシャルメディアテキストにおける堅牢なヘイトスピーチ検出を動機づける。
• 粗い分類（HOF vs NOT）および細分類（HATE, OFFN, PRFN）を調査する。
• 多言語および単言語トレーニングを用いたXLM-RoBERTaベースのアーキテクチャを評価する。
• Perspective APIの特徴と絵文字/ハッシュタグ表現の価値を評価する。

提案手法

• クレンジング済みテキスト、絵文字、分割ハッシュタグの結合埋め込みを用いた二層MLP分類器でXLM-RoBERTaをファインチューニングする。
• 絵文字ベクトルとハッシュタグ埋め込みを要素ごとに平均化して共通の潜在空間に基づかせる。
• Perspective API特徴を英語およびドイツ語のMLPの単独入力として実験する。
• モノ言語・多言語設定で凍結（ベースライン） vs. ファインチューニングされたTransformer重みを比較する。
• クレンジング済みテキスト、絵文字、ハッシュタグを横断して特徴選択を行い、性能への影響を評価する。
• 評価指標としてマクロF1スコアを用い、MLPハイパーパラメータのグリッド探索を行う。

実験結果

リサーチクエスチョン

• RQ1 多言語トランスフォーマーは英語・ドイツ語・ヒンディー語のツイートでヘイトスピースを効果的に検出できるか？
• RQ2 絵文字とハッシュタグの埋め込みを追加することが分類性能に与える影響は？
• RQ3 Perspective API特徴はヘイトスピーチタスクにおいてTransformerベース表現と比較してどうか？
• RQ4 英語データが利用可能な場合、ドイツ語とヒンディー語で多言語トレーニングは性能を改善するか？
• RQ5 Transformer重みのファインチューニングと凍結埋め込みを用いる場合の効果は？

主な発見

Model	English Task1	English Task2	German Task1	German Task2	Hindi Task1	Hindi Task2
XLMR-adaptive	90.29	59.03	81.04	52.99	75.40	45.87
XLMR-tuned	90.05	60.70	81.87	53.28	74.29	49.74

• ファインチューニングを伴うXLM-RoBERTaベースのモデルは、モノ言語・多言語設定のいずれでも凍結ベースラインを上回る。
• 最も性能の高い構成は English Task1 90.05、Task2 60.70、German Task1 81.87、Task2 53.28、Hindi Task1 74.29、Task2 49.74 を達成。
• 多言語トレーニングは German Task2 と Hindi Task2 の性能を一部設定で向上させる一方、英語の結果は機能制限がある場合に低下することがある。
• Perspective APIの特徴はHOF対 NOTに対しては一定の成績を示すが、細分類ではTransformerベースのモデルには及ばない。
• 絵文字とハッシュタグの埋め込みを含めると性能が向上し、ハッシュタグ特徴は複数の設定で有益である。
• 特徴選択の研究はハッシュタグと絵文字が分類器ヘッドに有益な情報を追加することを示す。