[論文レビュー] A Review of Challenges in Machine Learning based Automated Hate Speech Detection

Abhishek Velankar, Hrushikesh Patil+1 more|arXiv (Cornell University)|Sep 12, 2022

Hate Speech and Cyberbullying Detection被引用数 12

ひとこと要約

本論文は、機械学習を用いた嫌がらせ発言検出における挑戦を体系的かつ階層的に理解するための包括的なフレームワークを提示している。これらの挑戦は、データレベル、モデルレベル、人間レベルの3つに分類される。文脈依存性、偏りのあるデータ、皮肉、アノテーションの不一致といった主要な問題を特定し、研究者らがより強固で文脈に配慮した検出システムを構築するための構造的基盤を提供する。

ABSTRACT

The spread of hate speech on social media space is currently a serious issue. The undemanding access to the enormous amount of information being generated on these platforms has led people to post and react with toxic content that originates violence. Though efforts have been made toward detecting and restraining such content online, it is still challenging to identify it accurately. Deep learning based solutions have been at the forefront of identifying hateful content. However, the factors such as the context-dependent nature of hate speech, the intention of the user, undesired biases, etc. make this process overcritical. In this work, we deeply explore a wide range of challenges in automatic hate speech detection by presenting a hierarchical organization of these problems. We focus on challenges faced by machine learning or deep learning based solutions to hate speech identification. At the top level, we distinguish between data level, model level, and human level challenges. We further provide an exhaustive analysis of each level of the hierarchy with examples. This survey will help researchers to design their solutions more efficiently in the domain of hate speech detection.

研究の動機と目的

• 機械学習を用いた自動嫌がらせ発言検出における複雑な挑戦を体系的に分類・分析すること。
• モデルの汎化性を阻害するデータレベルの問題、例えば不均衡なデータセット、コードスイッチィング、引用された嫌がらせ発言を特定・説明すること。
• 偽装された嫌がらせ発言、乱暴な非嫌がらせ発言、重複ラベルといったモデルレベルの課題を検討し、学習アルゴリズムの混乱を引き起こす要因を明らかにすること。
• アノテーションの不一致や、皮肉や文脈依存性の高いケースにおけるユーザー意図の解釈の難しさといった人間レベルの課題を調査すること。
• 研究者らがより正確で公平な嫌がらせ発言検出システムの開発を支援できるように、これらの課題を階層的かつ体系的に理解する基盤を提供すること。

提案手法

• 著者らは、既存の文献と事例研究の実証的分析に基づき、データレベル、モデルレベル、人間レベルの3段階の階層的分類を提案する。
• SNSからの実際の例（例：皮肉、コードスイッチィング、文脈依存性の嫌がらせ発言）を提示することで、これらの課題の実際の影響を示す。
• 偏り、アノテーションの信頼性、文脈的解釈に関する先行調査の知見を統合し、課題の分類体系を構築する。
• データセットからのアノテート例を用いて、『偽装された嫌がらせ発言』（例：肯定的に使われる「fcuked」） や『重複ラベル』（コメントが複数のクラスに該当する場合）といったサブカテゴリを説明する。
• ケーススタディを通じて、文脈、皮肉、曖昧なラベリングによって誤分類が生じる仕組みを検証し、階層モデルの有効性を検証する。
• 既存の文献を基に、データ収集およびアノテーションプロセスにリンクするバイアス（例：人種的、性別的、心理的特性）を特定し、モデル性能への影響を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 不均衡なデータセット、コードスイッチィング、引用された嫌がらせ発言といったデータレベルの課題が、機械学習ベースの嫌がらせ発言検出モデルの性能にどのように影響を与えるか？
• RQ2 偽装された嫌がらせ発言、乱暴な非嫌がらせ発言、重複ラベルといったモデルレベルの課題が、誤分類を引き起こし、モデルの頑健性を低下させる仕組みは何か？
• RQ3 アノテーションの不一致やユーザー意図の解釈（例：皮肉や歴史的文脈）といった人間レベルの課題が、データセットの品質とモデルの汎化性にどのように影響を与えるか？
• RQ4 文脈の曖昧さと嫌がらせ発言の普遍的定義の欠如が、ラベリングとモデル学習における一貫性の欠如をどの程度引き起こすか？
• RQ5 課題の階層的フレームワークは、より正確で公平かつ文脈に配慮した嫌がらせ発言検出システムの設計をどの程度改善できるか？

主な発見

• 嫌がらせ発言の普遍的に受け入れられた定義が存在しないため、アノテーター間の不一致が顕著となり、それにより関係性係数（kappaスコア）が低く、信頼性の低い学習データが生じる。
• コードスイッチィング（例：SNSにおけるヒンディ語-英語の混合） や引用された嫌がらせ発言（例：「ムスリムはジンナットに送るべきだ」） といったデータレベルの課題は、モデルの汎化性を複雑にし、誤検出を増加させる。
• 偽装された嫌がらせ発言（例：称賛として使われる「fcuked」） や乱暴な非嫌がらせ発言（例：「No f**king way」） といったモデルレベルの課題は、高い曖昧さを生じさせ、最新のモデルですら誤分類を引き起こす。
• 重複ラベル（1つのコメントが複数のクラスの特徴を示す） は、アノテーターが恣意的な判断を下さざるを得ない状況を生み出し、モデルの学習と汎化性を損なう。
• 特に皮肉や歴史的参照（例：「ヒトラーはユダヤ人のための最良の解決策を持っていた」） のようなユーザー意図の解釈が難しい人間レベルの課題は、手動アノテーションの信頼性を著しく低下させる。
• 階層的フレームワークは、データ、モデル、人間の課題の相互作用を的確にマップし、文脈依存性とバイアスが、正確な嫌がらせ発言検出システムの構築における継続的な困難の中心的要因であることを明らかにした。