[論文レビュー] Cross-lingual Hate Speech Detection using Transformer Models

Teodor Tiţa, Arkaitz Zubiaga|arXiv (Cornell University)|Nov 1, 2021

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本論文は、英語・フランス語間の言語ペアおよび単言語設定において、クロスリンガルな嫌がらせ発言検出のためのファインチューニング済み多言語トランスフォーマーモデル（mBERTおよびXLM-RoBERTa）を提案している。ゼロショット転移性能が強く、特にXLM-RoBERTaでは、リソースが限られた状況における嫌がらせ発言検出の多言語事前学習の有効性が示された。

ABSTRACT

Hate speech detection within a cross-lingual setting represents a paramount area of interest for all medium and large-scale online platforms. Failing to properly address this issue on a global scale has already led over time to morally questionable real-life events, human deaths, and the perpetuation of hate itself. This paper illustrates the capabilities of fine-tuned altered multi-lingual Transformer models (mBERT, XLM-RoBERTa) regarding this crucial social data science task with cross-lingual training from English to French, vice-versa and each language on its own, including sections about iterative improvement and comparative error analysis.

研究の動機と目的

• リソースが限られた状況において、ラベル付きデータが不足する中で、多言語間での自動嫌がらせ発言検出の重要性に対応すること。
• 特に英語からフランス語、およびその逆の方向への嫌がらせ発言検出能力の転移の有効性を調査すること。
• 単言語およびクロスリンガルなファインチューニング戦略を評価し、多言語NLPタスクにおける最適なパフォーマンスと一般化性能を特定すること。
• 段階的なモデル改善と比較的誤差分析を実施し、嫌がらせ発言検出における失敗モードを理解し、耐性を高めること。

提案手法

• クロスリンガルおよび単言語分類のため、英語およびフランス語の嫌がらせ発言データセットに対して、多言語Bert（mBERT）およびXLM-RoBERTaをファインチューニングする。
• 多言語事前学習で初期化されたモデルを用い、ターゲット言語固有の嫌がらせ発言データでファインチューニングすることで、トランスファー学習を適用する。
• 二値分類（嫌がらせ vs. 非嫌がらせ）のための標準的なテキスト分類ヘッドとソフトマックス出力を使用する。
• 英語で学習したモデルをフランス語データで評価することで、ゼロショットクロスリンガル転移を実施し、ゼロショット一般化性能を評価する。
• パラメータチューニングとモデルアーキテクチャの調整を段階的に行い、言語ペア全体でのパフォーマンスを向上させる。
• 予測における言語的および文脈的失敗パターンを特定するために、比較的誤差分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済み多言語トランスフォーマーモデルは、嫌がらせ発言検出タスクにおいてどの程度言語間で一般化するか？
• RQ2 英語およびフランス語における嫌がらせ発言検出において、単言語ファインチューニングとクロスリンガルファインチューニングのパフォーマンスにどのような差があるか？
• RQ3 mBERTおよびXLM-RoBERTaを用いた、英語からフランス語、およびその逆へのゼロショット転移はどの程度有効か？
• RQ4 クロスリンガルな嫌がらせ発言検出における主な失敗パターンは何か？また、誤差分析を通じてそれらをどのように軽減できるか？

主な発見

• XLM-RoBERTaは、mBERTよりもクロスリンガルな嫌がらせ発言検出において優れた性能を示し、特にゼロショット転送設定で顕著だった。
• 英語からフランス語へのクロスリンガルファインチューニングは、言語間で嫌がらせ発言のパターンが効果的に転送されていることを示し、高いパフォーマンスを達成した。
• 各言語で単言語ファインチューニングを行うことで、ゼロショット転送よりも高いパフォーマンスが得られ、ターゲット言語データの価値を裏付けた。
• 誤差分析から、皮肉、コードスイッチィング、比喩的表現がモデルの一般化において主な課題であることが明らかになった。
• 段階的なハイパーパramータチューニングとアーキテクチャの調整により、言語ペア全体でのモデルの耐性とF1スコアが顕著に向上した。
• 本研究は、多言語事前学習が、特にターゲット言語データが限られた状況においても、実用的なリソースが限られた嫌がらせ発言検出を可能にすることを示した。