[論文レビュー] Large Scale Crowdsourcing and Characterization of Twitter Abusive Behavior

Antigoni-Maria Founta, Constantinos Djouvas+7 more|arXiv (Cornell University)|Feb 1, 2018

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本稿では、反復的アノテーションとブーストドサンプリングを用いて、まれな嫌がらせカテゴリの検出を向上させる大規模かつクラウドソーシング手法を提示している。アノテーター間の合意度を統計的に分析することで重複するラベルを統合・削除し、洗練されたカテゴリでラベル付けされた80,000件のツイートからなる堅牢で公開可能なデータセットを生成した。主なカテゴリは「嫌がらせ」と「憎悪表現」である。

ABSTRACT

In recent years, offensive, abusive and hateful language, sexism, racism and other types of aggressive and cyberbullying behavior have been manifesting with increased frequency, and in many online social media platforms. In fact, past scientific work focused on studying these forms in popular media, such as Facebook and Twitter. Building on such work, we present an 8-month study of the various forms of abusive behavior on Twitter, in a holistic fashion. Departing from past work, we examine a wide variety of labeling schemes, which cover different forms of abusive behavior, at the same time. We propose an incremental and iterative methodology, that utilizes the power of crowdsourcing to annotate a large scale collection of tweets with a set of abuse-related labels. In fact, by applying our methodology including statistical analysis for label merging or elimination, we identify a reduced but robust set of labels. Finally, we offer a first overview and findings of our collected and annotated dataset of 100 thousand tweets, which we make publicly available for further scientific exploration.

研究の動機と目的

• ソーシャルメディアにおける嫌がらせ行動のラベル付けが一貫性のない問題に対処し、特に憎悪表現、いじめ、攻撃的言語といった洗練されたカテゴリを区別することが難しいこと。
• 低頻度の嫌がらせカテゴリの十分な代表を確保しながらも、アノテーション品質を維持するスケーラブルで費用対効果に優れたクラウドソーシング手法の開発。
• 自動検出システムの今後の研究を支援するため、大規模で公開可能で統計的に検証された、Twitterツイートの嫌がらせ行動に関するラベル付け済みデータセットの構築。
• アノテーター間合意度の統計的分析を通じて、重複するか冗長なラベルを特定・統合することで、ラベルの曖昧さを低減すること。

提案手法

• 複数ラウンドのラベル付けとフィードバックを組み合わせた段階的かつ反復的なクラウドソーシングフレームワークを設計し、アノテーター間の一貫性を向上させた。
• 自然に発生する頻度が低い嫌がらせカテゴリ（例：憎悪表現、嫌がらせ）の割合を増やすために、ブーストドサンプリング戦略を採用した。
• 作業者へのタスク割り当て、報酬支払い、タスクルーティングを管理することで、コスト、時間、アノテーション品質を最適化するカスタム開発のデータ収集プラットフォームを構築した。
• アノテーター間合意度の統計的分析を用いてラベルの統合と削除を実施し、特に「圧倒的合意」（≥4/5）、「強い合意」（≥3/5）、および「単純合意」（≥2/5）のスコアを用いた。
• 「いじめ」のような明確でないか重複するラベルを削除した結果、最終的なラベルスキームは「嫌がらせ」「憎悪表現」「スパム」「通常」の4つの最小限で堅牢なラベルに簡略化された。
• データセットは2つのサブセットから構成された：70,000件のランダムツイートと10,000件のブーストドサンプル。後者は嫌がらせコンテンツが豊富に含まれており、少数クラスの統計的パワーを確保する目的で設計された。

実験結果

リサーチクエスチョン

• RQ1 Twitterにおける洗練された嫌がらせ言語の形態（例：憎悪表現、いじめ、攻撃的言語）を区別する際、アノテーターの混乱を最小限に抑えるためにクラウドソーシングラベリングをどのように最適化できるか？
• RQ2 低頻度の嫌がらせカテゴリを十分に代表させるにはどのようなサンプリング戦略が有効であり、最終データセットへのバイアスの導入を防げるか？
• RQ3 嫌がらせ行動のラベルとして、アノテーター間合意度に基づいて統計的に明確で信頼性のあるものとされるのはどれで、どれを統合または削除できるか？
• RQ4 ランダムサンプリングと比較して、ブーストドサンプリングアプローチは嫌がらせコンテンツの検出可能性および特徴の特定にどの程度向上効果を示すか？
• RQ5 大規模で高品質かつ公開可能な嫌がらせツイートデータセットを体系的に構築・検証するにはどのような手順が必要か？

主な発見

• 80,000件のツイートの55％以上が、5名のアノテーターのうち4名以上が合意した「圧倒的合意」（≥4/5）を得ており、アノテーター間の信頼性が高く確認された。
• 最終データセットの構成は、正常（59％）、スパム（22.5％）、嫌がらせ（11％）、憎悪表現（7.5％）であり、残りの20％は不適切または曖昧なラベルが付与された。
• ブーストドサンプル（10,000件）では、全不適切コンテンツの約48％が含まれており、ランダムサンプルの4％と比較して、サンプリング戦略の有効性が明確に示された。
• 統計的分析の結果、「いじめ」ラベルは明確な特徴がなく、「嫌がらせ」と「憎悪表現」との重複度が高いため、削除された。
• 最終的なアノテーションスキームは、「嫌がらせ」「憎悪表現」「スパム」「通常」の4つのコアラベルに簡略化され、嫌がらせ行動の特徴付けに最も信頼性が高く代表的であると判明した。
• データセットは http://ow.ly/BqCf30jqffN で公開されており、研究コミュニティが再利用可能なプラットフォームコードは http://ow.ly/TnuU30jqf7g でオープンソース化されている。