[論文レビュー] Leveraging Transformers for Hate Speech Detection in Conversational Code-Mixed Tweets

Zaki Mustafa Farooqi, Sreyan Ghosh+1 more|arXiv (Cornell University)|Dec 18, 2021

Hate Speech and Cyberbullying Detection被引用数 13

ひとこと要約

この論文では、ヒンディー語と英語が混在するツイートのヘイトスピーチ検出のためのトランスフォーマー基盤のアンサンブルシステムを提案している。Indic-BERT、XLM-RoBERTa、Multilingual BERTを用い、ハードボーティングを適用している。最良のモデルはマクロF1スコア0.7253を達成し、文脈的ニュアンスを的確に捉えることで、低リソースでコードスイッチされたソーシャルメディアテキストにおいて、HASOC 2021 サブタスク2の順位で1位を獲得した。

ABSTRACT

In the current era of the internet, where social media platforms are easily accessible for everyone, people often have to deal with threats, identity attacks, hate, and bullying due to their association with a cast, creed, gender, religion, or even acceptance or rejection of a notion. Existing works in hate speech detection primarily focus on individual comment classification as a sequence labeling task and often fail to consider the context of the conversation. The context of a conversation often plays a substantial role when determining the author's intent and sentiment behind the tweet. This paper describes the system proposed by team MIDAS-IIITD for HASOC 2021 subtask 2, one of the first shared tasks focusing on detecting hate speech from Hindi-English code-mixed conversations on Twitter. We approach this problem using neural networks, leveraging the transformer's cross-lingual embeddings and further finetuning them for low-resource hate-speech classification in transliterated Hindi text. Our best performing system, a hard voting ensemble of Indic-BERT, XLM-RoBERTa, and Multilingual BERT, achieved a macro F1 score of 0.7253, placing us first on the overall leaderboard standings.

研究の動機と目的

• 毒性が内蔵されており、文脈依存的な会話的でコードスイッチされたヒンディー語と英語のツイートにおけるヘイトスピーチ検出の課題に対処すること。
• 翻訳されたヒンディー語テキストにおける低リソースなヘイトスピーチ分類を、クロスリンガルトランスフォーマー埋め込みを用いて改善すること。
• アンサンブル学習が、ヘイトスピーチ検出におけるクラス固有の誤分類バイアスを軽減する効果を評価すること。
• 明確に攻撃的ではないが、有毒な会話チェーンに貢献する返信やコメントに隠れたヘイトを同定できるシステムを開発すること。

提案手法

• ヒンディー語と英語が混在するヘイトスピーチデータセットに対して、コードスイッチされたツイートのための事前学習済みマルチリンガルトランスフォーマー（Indic-BERT、XLM-RoBERTa、Multilingual BERT）を微調整した。
• 3つのトランスフォーマーモデルの予測を統合することで、ハードボーティングのアンサンブルモデルを構築し、モデルの頑健性と一般化性能を向上させた。
• 親ツイート、返信、コメントを含む会話全体の文脈を入力として使用し、隠れたヘイトや意図を捉えることを目的とした。
• ソフトボーティングとハードボーティングの戦略を用いてモデル出力を統合したが、ハードボーティングが優れた性能を示した。
• モデルの一般化性能を最適化するために、HASOC 2021データセットを用いた広範なハイパーパrameterチューニングと検証を実施した。
• 誤分類率と混同行列を用いた誤差分析により、クラス固有の弱みやモデルの挙動を特定した。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みマルチリンガルトランスフォーマーは、低リソースでコードスイッチされたヒンディー語と英語のツイート会話において、ヘイトスピーチを効果的に検出できるか？
• RQ2 この低リソースな文脈において、アンサンブル学習は個々のトランスフォーマーモデルと比較して、ヘイトスピーチ検出性能をどのように向上させるか？
• RQ3 会話の文脈を組み込むことで、個々のコメントに存在しない隠れたヘイトの検出がどの程度向上するか？
• RQ4 特定のモデルが『NOT』（非攻撃的）クラスに対して高い誤分類率を示す理由は何か？また、アンサンブル化によってこのバイアスを軽減できるか？

主な発見

• Indic-BERT、XLM-RoBERTa、Multilingual BERTのハードボーティングアンサンブルは、マクロF1スコア0.7253を達成し、HASOC 2021 サブタスク2の順位で1位を獲得した。
• アンサンブルモデルは、個々のモデルと比較して、HOF（ヘイト/攻撃的）およびNOT（非攻撃的）クラスの誤分類率を低減した。特にHOFクラスの誤分類率は23.74％まで低下した。
• Indic-BERTはNOTクラスの誤分類率が40.27％と高く、HOFクラスの23.30％と比較して顕著に高いことが判明し、予測においてクラス不均衡が生じていることが示された。
• Multilingual BERTとXLM-RoBERTaは両クラスでほぼ同等の誤分類率（約29–31％）を示し、より一貫性のある性能を発揮していた。
• ハードボーティングアンサンブルはソフトボーティングアンサンブル（マクロF1 0.7223）を上回った。これは、この文脈においてハードボーティングが予測の矛盾をより効果的に解消できたことを示している。
• 改善が見られたものの、アンサンブルモデルはNOTクラスの誤分類率がHOFクラスより7–8％高いままであり、非攻撃的コンテンツを正確に検出する課題が依然として残っている。