[論文レビュー] Automated Detection of Cyberbullying Against Women and Immigrants and Cross-domain Adaptability

Thushari Atapattu, Mahen Herath+2 more|arXiv (Cornell University)|Dec 4, 2020

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本稿では、SemEval 2019 HatEvalデータセットを用いて、女性および移民を標的にしたネットいじめの自動検出を目的としたDistilBERTベースのアンサンブルモデルを提案する。タスクA（嫌がらせ発言検出）ではF1スコア0.73、タスクB（攻撃的・標的分類）ではF1スコア0.74を達成し、外部ベンチマークでも約0.7のF1スコアを示すことで、ドメイン間適合性を示した。また、誤分類されたツイートの定性的なコード化スキーマを提示し、今後の研究を支援する。

ABSTRACT

Cyberbullying is a prevalent and growing social problem due to the surge of social media technology usage. Minorities, women, and adolescents are among the common victims of cyberbullying. Despite the advancement of NLP technologies, the automated cyberbullying detection remains challenging. This paper focuses on advancing the technology using state-of-the-art NLP techniques. We use a Twitter dataset from SemEval 2019 - Task 5(HatEval) on hate speech against women and immigrants. Our best performing ensemble model based on DistilBERT has achieved 0.73 and 0.74 of F1 score in the task of classifying hate speech (Task A) and aggressiveness and target (Task B) respectively. We adapt the ensemble model developed for Task A to classify offensive language in external datasets and achieved ~0.7 of F1 score using three benchmark datasets, enabling promising results for cross-domain adaptability. We conduct a qualitative analysis of misclassified tweets to provide insightful recommendations for future cyberbullying research.

研究の動機と目的

• 女性および移民を標的にしたネットいじめの分類において、既存のシステムを上回る機械学習モデルの開発。
• 誤分類されたツイートの内容を特定・分類し、モデルの限界を理解すること。
• 訓練済みモデルの外部の嫌がらせ発言および攻撃的言語データセットにおけるドメイン間一般化能力の評価。
• 誤分類されたネットいじめコンテンツの参考コードスキーマの提供により、データセット品質およびモデルの頑健性の向上。

提案手法

• SemEval 2019 HatEvalデータセットを用いて、DistilBERTベースのアンサンブルモデルを微調整し、3つのサブタスク（嫌がらせ発言検出、攻撃的度分類、標的同定）を実行。
• 元のHatEvalデータを統合・シャッフル・再分割することで、モデル性能を向上させる調整済みデータセットを作成。
• テーマコード化を用いた定性的なコンテンツ分析を通じて、誤分類ツイートの繰り返し現れる誤りパターンを同定。
• タスクAで最高性能を示したモデルを外部データセット（OffensEvalおよびHate & Offenseベンチマーク）に適用し、ドメイン間適合性を評価。
• 今後の研究において、語彙リソースと複数のアノテーターを用いて、誤分類コードの精緻化とアノテーションバイアスの低減を図る。
• 複数の調整済みデータセットにおける平均性能を報告することで、再現性およびモデルの頑健性を向上。

実験結果

リサーチクエスチョン

• RQ1 女性および移民を標的にしたネットいじめの分類において、現在のシステムを上回る機械学習モデルを構築可能か？
• RQ2 誤分類されたツイートの特徴とカテゴリは何か。それらはどのように意味的に分類可能か？
• RQ3 HatEvalデータセットで訓練されたモデルは、嫌がらせ発言および攻撃的言語検出の他のベンチマークデータセットに対しても効果的に一般化可能か？

主な発見

• DistilBERTベースのアンサンブルモデルは、タスクA（嫌がらせ発言検出）でF1スコア0.73、タスクB（攻撃的度および標的分類）でF1スコア0.74を達成し、タスクBでは以前のベースラインを上回った。
• モデルは外部データセットに対しても妥当な一般化性能を示し、OffensEvalおよびHate & Offenseベンチマークの両方で約0.7のF1スコアを達成した。これは、強力なドメイン間適合性を示している。
• 誤分類ツイートの定性的分析により、6つの明確なカテゴリが同定された：文脈不足（CNTX）、ジェンダー関連問題（GEND）、スラング解釈の問題（SLNG）、元のアノテーションエラー（ERROR）、モデルの誤分類（MSCL）、その他の未分類問題（OTHER）。
• 同定された誤分類カテゴリは、今後の研究における基盤となるコードスキーマを提供し、ネットいじめ検出分野におけるより良いデータセット設計およびモデル評価を可能にする。
• 本研究は、文脈の曖昧さおよびスラングの問題による制限を浮き彫りにした。今後のモデルは、言語の進化および文脈理解を統合することで性能を向上させるべきである。
• 研究者たちは、多様で文脈豊かな例を訓練データに追加し、語彙リソースを活用した複数アノテーターのフレームワークを用いることで、アノテーションの信頼性およびモデルの一般化能力を向上させるべきだと提言している。