[論文レビュー] Galileo at SemEval-2020 Task 12: Multi-lingual Learning for Offensive Language Identification using Pre-trained Language Models

Shuohuan Wang, Jiaxiang Liu+2 more|arXiv (Cornell University)|Oct 7, 2020

Hate Speech and Cyberbullying Detection参考文献 34被引用数 5

ひとこと要約

本論文では、マルチリンガル事前学習言語モデル（XLM-R および ERNIE）を用いた5ヶ国語における攻撃的言語識別アプローチ、Galileo を提示する。攻撃的言語の分類には知識蒸留を適用し、最先端の性能を達成。システムは、Sub-task A において全言語の平均 F1 で1位となり、Sub-task B（攻撃的タイプ分類）および Sub-task C（攻撃的ターゲット特定）においても1位を獲得した。

ABSTRACT

This paper describes Galileo's performance in SemEval-2020 Task 12 on detecting and categorizing offensive language in social media. For Offensive Language Identification, we proposed a multi-lingual method using Pre-trained Language Models, ERNIE and XLM-R. For offensive language categorization, we proposed a knowledge distillation method trained on soft labels generated by several supervised models. Our team participated in all three sub-tasks. In Sub-task A - Offensive Language Identification, we ranked first in terms of average F1 scores in all languages. We are also the only team which ranked among the top three across all languages. We also took the first place in Sub-task B - Automatic Categorization of Offense Types and Sub-task C - Offence Target Identification.

研究の動機と目的

• 英語、ギリシャ語、ターキッシュ語、デンマーク語、アラビア語を含む多様な言語に一般化可能なマルチリンガル攻撃的言語識別システムの開発を目的とする。
• 複数の教師モデル（ALBERT-XXLarge および ERNIE 2.0）から得られるソフトラベルを用いた知識蒸留により、攻撃的分類の性能を向上させることを目的とする。
• 低リソース言語における攻撃的言語検出の課題に、クロスリンガル転移学習を用いて対処することを目的とする。
• SemEval-2020 タスク12の3つのサブタスク（攻撃的言語検出、攻撃的タイプ分類、攻撃的ターゲット特定）において、高い性能を達成することを目的とする。
• アンサンブル学習およびマルチリンガル事前学習の有効性を、低リソースおよびマルチリンガル NLP シナリオにおいて検証することを目的とする。

提案手法

• 攻撃的言語検出のためのクロスリンガル微調整に、マルチリンガル事前学習言語モデル XLM-R Base および XLM-R Large を使用した。
• Sub-task A におけるロバストネスと一般化性能の向上を目的に、XLM-R Large の10分割交差検証ベースのアンサンブルを適用した。
• Sub-task B および Sub-task C における分類性能の向上を目的に、複数の教師モデル（ALBERT-XXLarge および ERNIE 2.0）から生成されたソフトラベルを用いた知識蒸留を実施した。
• ハードラベルを超えた微細な分類パターンを捉えるために、教師モデルのソフトターゲットを用いて学生モデルを訓練した。
• ER-2.0 における動的知識マスキングおよびアプリケーション固有の事前学習タスクを組み合わせたマルチタスク学習戦略を採用し、意味的表現を強化した。
• 複数のモデルの予測結果をアンサンブル手法で統合し、全サブタスクにおける最終性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 XLM-R や ERNIE のようなマルチリンガル事前学習言語モデルは、多様な言語において攻撃的言語検出で強力なゼロショットまたはフェイントショット一般化を達成できるか？
• RQ2 複数の教師モデルから得られるソフトラベルを用いた知識蒸留は、ハードラベル監視に比べて攻撃的分類性能を向上させるか？
• RQ3 アラビア語やデンマーク語のようにアノテーションデータが限られるターゲット言語において、クロスリンガル転移学習はどの程度有効か？
• RQ4 複数の事前学習モデルを用いたアンサンブル学習は、マルチリンガル攻撃的言語検出において、単一モデルベースラインを一貫して上回るか？
• RQ5 動的知識マスキングを含む異なる事前学習戦略（例：ERNIE 2.0）は、下流の攻撃的言語分類タスクにどのような影響を与えるか？

主な発見

• Sub-task A において、Galileo は全言語の平均 F1 スコアが 0.8595 と最高を記録し、全チーム中最も高い順位となった。
• Sub-task A では、英語（F1: 0.9199）、ギリシャ語（F1: 0.8510）、ターキッシュ語（F1: 0.8258）、デンマーク語（F1: 0.8020）、アラビア語（F1: 0.8989）の各言語で、全言語で上位3位以内を達成した。
• Sub-task B（攻撃的タイプ分類）では、F1 スコアが 0.7462 に達し、1位となった。
• Sub-task C（攻撃的ターゲット特定）では、F1 スコアが 0.7145 に達し、参加者全員の中で1位となった。
• ソフトラベルを用いた知識蒸留は、ハードラベル学習に比べて性能を約 2.5–3% 向上させ、複雑な分類タスクにおける有効性を示した。
• XLM-R Large モデルのアンサンブルは、単一モデル推論を上回り、特にデンマーク語やアラビア語のような低リソース言語において顕著な性能向上を示した。これにより、モデル平均化の利点が明確になった。