[論文レビュー] SemEval-2020 Task 12: Multilingual Offensive Language Identification in Social Media (OffensEval 2020)

Marcos Zampieri, Preslav Nakov+7 more|arXiv (Cornell University)|Jun 12, 2020

Hate Speech and Cyberbullying Detection被引用数 16

ひとこと要約

本論文は、ソーシャルメディアにおける攻撃的言語の識別を目的とした多言語共同作業「OffensEval 2020」を提示する。これは、英語を対象として開発されたOLIDアノテーションスキーマを、アラビア語、デンマーク語、ギリシャ語、ターキッシュ語の5言語に拡張したものである。本研究では、900万件を超える英語ツイートを含む大規模な半教師ありトレーニングデータセットを提供し、3つのサブタスク—攻撃的言語検出（A）、攻撃的タイプ分類（B）、攻撃的標的特定（C）—のベンチマークデータセットを整備した。145チームの参加と70本のシステム記述論文が得られた。

ABSTRACT

We present the results and main findings of SemEval-2020 Task 12 on Multilingual Offensive Language Identification in Social Media (OffensEval 2020). The task involves three subtasks corresponding to the hierarchical taxonomy of the OLID schema (Zampieri et al., 2019a) from OffensEval 2019. The task featured five languages: English, Arabic, Danish, Greek, and Turkish for Subtask A. In addition, English also featured Subtasks B and C. OffensEval 2020 was one of the most popular tasks at SemEval-2020 attracting a large number of participants across all subtasks and also across all languages. A total of 528 teams signed up to participate in the task, 145 teams submitted systems during the evaluation period, and 70 submitted system description papers.

研究の動機と目的

• Twitter や Facebook、Reddit などの多言語ソーシャルメディアプラットフォームにおける攻撃的言語の増加する課題に対処すること。
• 英語専用に開発されたOLIDアノテーションスキーマを、一貫した階層的ラベル付けを可能にする形で複数言語に拡張し、攻撃的言語検出を可能にすること。
• サブタスクA（攻撃的言語検出）、B（攻撃的タイプ分類）、C（攻撃的標的特定）のための、大規模かつ多言語のデータセットを提供すること。
• アラビア語、デンマーク語、ギリシャ語、ターキッシュ語のデータセットを英語と併せて提供することで、多言語間の転移学習を促進すること。
• 広範なコミュニティ参加とベンチマーク評価を伴う大規模共同作業を通じて、悪意ある言語検出分野の研究を促進すること。

提案手法

• OLIDの3段階階層的アノテーションスキーマを採用：レベルA（OFF 対 NOT）、レベルB（TIN 対 UNT）、レベルC（IND, GRP, OTH）標的特定。
• ユーザーメンションを@USERに匿名化するなど、言語間の一貫性を保つために多言語データセットを収集・前処理した。
• 900万件を超える英語ツイートを含む半教師ありトレーニングデータセットを提供し、トレーニング容量を大幅に拡大した。
• 言語ごとにサイズの異なるテストセットを構築し、英語が3つのサブタスクすべてで最大のテストセットを有した。
• 言語間のデータ収集およびアノテーション手順を標準化することで、データセットの一貫性と比較可能性を向上させた。
• 5言語にまたがるアノテーションスキーマとデータフォーマットの整合性を確保することで、多言語間転移学習を支援した。

実験結果

リサーチクエスチョン

• RQ1 アラビア語、デンマーク語、ギリシャ語、ターキッシュ語、英語といった多様な言語において、多言語モデルの攻撃的言語検出効果はどの程度高いのか？
• RQ2 多言語間転移学習は、デンマーク語やギリシャ語のような低リソース言語において、どの程度性能を向上させるのか？
• RQ3 多言語環境下で、標的付き（TIN）と標的なし（UNT）の攻撃的コンテンツをモデルがどの程度正確に区別できるのか？
• RQ4 階層的アノテーションスキーマは、複数の言語に一貫して適用可能であり、モデルの汎化性能と解釈可能性を向上させられるか？
• RQ5 大規模な半教師ありトレーニングデータを用いることで、攻撃的言語検出タスクの性能にどの程度の向上が見られるか？

主な発見

• OffensEval 2020共同作業には528チームが参加し、145チームが公式の実行結果を提出した。これは、攻撃的言語検出分野における強いコミュニティ参加を示している。
• 本作業には記録的な70本のシステム記述論文が提出され、高い研究関心とメソドロジーの革新を示している。
• サブタスクA、B、Cの英語データセットには、それぞれ3,897件（A）、1,922件（B）、1,922件（C）のテストセットが存在し、きめ細かい評価が可能になった。
• 多言語データセット（アラビア語：2,000件、デンマーク語：329件、ギリシャ語：1,544件、ターキッシュ語：3,528件）により、多言語分析に適した多様な言語的カバレッジが確保された。
• 900万件を超える英語ツイートを含む半教師ありトレーニングセットにより、モデルの事前学習および微調整に利用可能なデータ量が大幅に拡大された。
• 複数の参加システムが多言語間転移学習を検討し、英語データを活用して低リソース言語の性能向上を図る可能性を示した。