[論文レビュー] Overview of the HASOC Subtrack at FIRE 2021: Hate Speech and Offensive Content Identification in English and Indo-Aryan Languages

Thomas Mandl, Sandip Modha+9 more|arXiv (Cornell University)|Dec 17, 2021

Hate Speech and Cyberbullying Detection被引用数 8

ひとこと要約

本論文は、FIRE 2021におけるHASOCサブトラックを提示する。これは、英語、ヒンディー語、マラーティー語の3言語で、Twitterデータを用いた嫌がらせ発言および攻撃的コンテンツ同定の共有課題である。2つのタスクを導入する：バイナリ分類（Hate 対 Not Offensive）と詳細分類（HATE、OFFENSIVE、PROFANITY）。トランスフォーマーに基づくモデルを用いて最先端の性能を達成し、F1スコアはマラーティー語で0.91、ヒンディー語で0.78、英語で0.83を記録した。

ABSTRACT

The widespread of offensive content online such as hate speech poses a growing societal problem. AI tools are necessary for supporting the moderation process at online platforms. For the evaluation of these identification tools, continuous experimentation with data sets in different languages are necessary. The HASOC track (Hate Speech and Offensive Content Identification) is dedicated to develop benchmark data for this purpose. This paper presents the HASOC subtrack for English, Hindi, and Marathi. The data set was assembled from Twitter. This subtrack has two sub-tasks. Task A is a binary classification problem (Hate and Not Offensive) offered for all three languages. Task B is a fine-grained classification problem for three classes (HATE) Hate speech, OFFENSIVE and PROFANITY offered for English and Hindi. Overall, 652 runs were submitted by 65 teams. The performance of the best classification algorithms for task A are F1 measures 0.91, 0.78 and 0.83 for Marathi, Hindi and English, respectively. This overview presents the tasks and the data development as well as the detailed results. The systems submitted to the competition applied a variety of technologies. The best performing algorithms were mainly variants of transformer architectures.

研究の動機と目的

• 低リソースなインディ・アーリアン系言語、特にヒンディー語とマラーティー語における嫌がらせ発言および攻撃的コンテンツ検出のベンチマークデータセットを構築すること。
• 複数言語にわたるNLPモデルの性能を評価・比較し、多言語の嫌がらせ発言同定に焦点を当てる。
• 標準化された共有課題を通じて、オンラインコンテンツモデレーションのためのスケーラブルなAIツールの開発を支援すること。
• 攻撃的言語検出のためのアノテート済み多言語データを提供することで、低リソースNLP分野の研究を前進させること。
• 嫌がらせ発言検出の文脈において、低リソース言語と高リソース言語の両方の設定で、多様なNLPアーキテクチャの性能を評価すること。

提案手法

• 英語、ヒンディー語、マラーティー語の3言語について、Twitterデータから多言語データセットを構築し、嫌がらせ発言および攻撃的コンテンツに対してアノテートした。
• 2つのサブタスクを定義した：タスクA（バイナリ分類：Hate 対 Not Offensive）は3言語すべてに適用し、タスクB（詳細分類：HATE、OFFENSIVE、PROFANITY）は英語とヒンディー語に限定した。
• 多様なNLP技術およびアーキテクチャを用いた65の参加チームから、合計652件のシステム実行結果を収集した。
• F1スコアなどの標準指標を用いてモデルの性能を評価し、言語およびタスクごとの性能を比較した。
• 上位のシステムでは、BERTおよびその変種を含むトランスフォーマーに基づくアーキテクチャが主流であった。
• 再現性とモデル比較の公平性を確保するため、データアノテーションおよび評価プロトコルを標準化した。

実験結果

リサーチクエスチョン

• RQ1 異なるNLPモデルは、ヒンディー語やマラーティー語などの低リソースなインディ・アーリアン系言語における嫌がらせ発言および攻撃的コンテンツの分類において、どのように性能を発揮するか？
• RQ2 嫌がらせ発言検出タスクにおいて、高リソース言語（英語）と低リソース言語（ヒンディー語、マラーティー語）の間で、性能の差はどの程度あるか？
• RQ3 バイナリ分類および詳細分類タスクにおいて、多言語環境で最高のF1スコアを達成するモデルアーキテクチャは何か？
• RQ4 トランスファー学習および多言語事前学習は、低リソース言語の嫌がらせ発言検出において、どの程度性能を向上させるか？
• RQ5 HASOC共有課題における、言語固有のベンチマークと多言語ベンチマークの両方で、モデルの予測はどの程度一貫性を示すか？

主な発見

• タスクAで最高の性能を示したモデルは、マラーティー語でF1スコア0.91、ヒンディー語で0.78、英語で0.83を達成し、低リソース環境でも優れた性能を示した。
• トランスフォーマーに基づくアーキテクチャ、特に多言語BERTの変種が、すべての言語およびタスクで上位の提出物を支配した。
• 英語（F1：0.83）の性能はヒンディー語（F1：0.78）よりも高く、低リソース言語の検出において性能の差が生じていることを示唆している。
• マラーティー語データセットは最高のF1スコア（0.91）を記録し、十分なデータ量と丁寧なアノテーションがあれば、低リソース言語でもモデル性能が高くなる可能性があることを示している。
• タスクB（詳細分類）はタスクAよりも全体的な性能が低く、HATE、OFFENSIVE、PROFANITYの3クラスを区別する複雑さが原因である。
• 共有課題は65のチームと652件のシステム実行を引きつけ、多言語嫌がらせ発言検出分野における広範な研究関心を示した。