[論文レビュー] Fine-tuning of Pre-trained Transformers for Hate, Offensive, and Profane Content Detection in English and Marathi

Anna Glazkova, Michael Kadantsev+1 more|arXiv (Cornell University)|Oct 25, 2021

Hate Speech and Cyberbullying Detection被引用数 9

ひとこと要約

この論文では、Twitter-RoBERTa および LaBSE を用いて、英語およびマラーティー語の嫌がらせ、攻撃的、不適切なコンテンツ検出のためのファインチューニングされたトランスフォーマー モデルを提示している。英語のサブタスクAではF1スコア81.99％（3位）、マラーティー語のサブタスクAでは88.08％（2位）を達成し、アンサンブルおよびデータオーグメンテーション技術により、不均衡なデータセットでも性能が向上した。

ABSTRACT

This paper describes neural models developed for the Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages Shared Task 2021. Our team called neuro-utmn-thales participated in two tasks on binary and fine-grained classification of English tweets that contain hate, offensive, and profane content (English Subtasks A & B) and one task on identification of problematic content in Marathi (Marathi Subtask A). For English subtasks, we investigate the impact of additional corpora for hate speech detection to fine-tune transformer models. We also apply a one-vs-rest approach based on Twitter-RoBERTa to discrimination between hate, profane and offensive posts. Our models ranked third in English Subtask A with the F1-score of 81.99% and ranked second in English Subtask B with the F1-score of 65.77%. For the Marathi tasks, we propose a system based on the Language-Agnostic BERT Sentence Embedding (LaBSE). This model achieved the second result in Marathi Subtask A obtaining an F1 of 88.08%.

研究の動機と目的

• 多言語のソーシャルメディア テキストにおける嫌がらせ、攻撃的、不適切なコンテンツを検出するための強力なNLPモデルの開発。
• 低リソースおよび不均衡なデータセットにおけるモデル性能に与える影響を調査するため、追加のトレーニングコーパスおよびデータオーグメンテーションの有効性の検証。
• 特にマラーティー語のような低リソース言語タスクにおいて、単語言語および多言語 BERT ベースのモデルの比較。
• アンサンブル戦略および二値分類ヘッドにおける one-vs-rest ファインチューニングを用いた分類性能の向上。
• HASOC 2021 共同タスクにおける英語およびマラーティー語の嫌がらせ検出で、最先端の結果を達成すること。

提案手法

• HatebaseTwitter、HatEval、OLID などの複数のソースのトレーニングデータを用いて、英語ツイートの二値および細分化分類のためのファインチューニングされた Twitter-RoBERTa を適用。
• マルチクラス分類の予測を解消するため、3つの二値分類器（嫌がらせ vs 不適切、嫌がらせ vs 攻撃的、攻撃的 vs 不適切）を用いた one-vs-rest アンサンブル戦略を適用。
• 複数の二値モデル間でのソフト投票を実施し、最終的なラベル割り当ては票数とトレーニングセットのクラス頻度に基づくタイブレーキングを実施。
• ノイズ除去再構成を用いたファインチューニングされた BART-base モデルを用いて、合成トレーニング例を生成するデータオーグメンテーションを実施。
• クラスの不均衡を是正するため、ランダムオーバーサンプリングおよび多言語データの組み合わせ（英語、ヒンディー語、マラーティー語）を含むデータサンプリング技術を検討。
• マラーティー語データに対して LaBSE および XLM-RoBERTa を評価し、単語言語および多言語の組み合わせでファインチューニングを実施。最終的な提出は、5つの LaBSE モデルのソフト投票アンサンブルを採用。

実験結果

リサーチクエスチョン

• RQ1 外部の嫌がらせコンテンツコーパスの統合が、英語の嫌がらせ検出タスクにおけるファインチューニングされたトランスフォーマーの性能に与える影響は何か？
• RQ2 データオーグメンテーションおよびサンプリング技術は、嫌がらせデータセットにおけるクラスの不均衡を是正するために効果的か？
• RQ3 マラーティー語のような低リソース環境において、単語言語および多言語 BERT ベースのモデルはどのように比較されるか？
• RQ4 二値分類器を用いた one-vs-rest アンサンブル戦略は、細分化された嫌がらせ検出において直接的なマルチクラス分類を上回る性能を発揮できるか？
• RQ5 言語に依存しない事前学習（LaBSE）は、多言語 BERT（XLM-RoBERTa）よりも低リソース言語タスクで優れた性能を発揮するか？

主な発見

• Twitter-RoBERTa ベースのモデルは、英語のサブタスクAでF1スコア81.99％を達成し、56チーム中3位であった。
• 英語のサブタスクBでは、F1スコア65.77％を記録し、37チーム中2位であった。
• LaBSE ベースのモデルは、マラーティー語のサブタスクAで最高のF1スコア88.08％を達成し、25チーム中2位であった。
• LaBSE はすべての設定で XLM-RoBERTa を上回り、特にマラーティー語の単語言語ファインチューニング（F1=87.76％）が多言語バージョンを上回った。
• 多言語ファインチューニングは XLM-RoBERTa の性能を向上させたが、LaBSE は単語言語のマラーティー語データでも優れた結果を達成した。
• 複数の二値分類器を組み合わせたアンサンブル戦略と票に基づくラベル割り当てにより、英語およびマラーティー語の両タスクで予測の一貫性と最終的な性能が向上した。