[論文レビュー] ETHOS: an Online Hate Speech Detection Dataset

Ioannis Mollas, Zoe Chrysopoulou+2 more|arXiv (Cornell University)|Jun 11, 2020

Hate Speech and Cyberbullying Detection参考文献 65被引用数 57

ひとこと要約

tldr: ETHOS は、アクティブ・ラーニングの注釈プロトコルとクラウドソーシングを通じて作成された、小規模でバランスの取れた二値・マルチラベルのヘイトスピーチデータセットであり、DistilBERT/BERT が最も良いベースライン結果を示す。

ABSTRACT

Online hate speech is a recent problem in our society that is rising at a steady pace by leveraging the vulnerabilities of the corresponding regimes that characterise most social media platforms. This phenomenon is primarily fostered by offensive comments, either during user interaction or in the form of a posted multimedia context. Nowadays, giant corporations own platforms where millions of users log in every day, and protection from exposure to similar phenomena appears to be necessary in order to comply with the corresponding legislation and maintain a high level of service quality. A robust and reliable system for detecting and preventing the uploading of relevant content will have a significant impact on our digitally interconnected society. Several aspects of our daily lives are undeniably linked to our social profiles, making us vulnerable to abusive behaviours. As a result, the lack of accurate hate speech detection mechanisms would severely degrade the overall user experience, although its erroneous operation would pose many ethical concerns. In this paper, we present 'ETHOS', a textual dataset with two variants: binary and multi-label, based on YouTube and Reddit comments validated using the Figure-Eight crowdsourcing platform. Furthermore, we present the annotation protocol used to create this dataset: an active sampling procedure for balancing our data in relation to the various aspects defined. Our key assumption is that, even gaining a small amount of labelled data from such a time-consuming process, we can guarantee hate speech occurrences in the examined material.

研究の動機と目的

• hate speech データセットの希少性と不均衡を、慎重に注釈されたバランスの取れた HS データセットを導入することで解消する。
• アクティブ・ラーニングとクラウドソーシングを組み合わせた実用的な注釈プロトコルを開発し、信頼性のあるラベルを作成する。
• Binary および Multi-label HS データセット（Ethos_Binary.csv と Ethos_Multi_Label.csv）とベースラインモデルの評価を提供する。
• 注釈者間の信頼性とデータセット品質を評価し、堅牢な ML/HM 研究を支援する。
• マルチラベルの意味論とラベル依存性を分析する際のデータセットの有用性を実証する。

提案手法

• 3 段階のデータ収集/注釈プロトコルを提案: Platform Selection & Data Collection, Data Prediction, Manual Data Annotation.
• Hatebusters と Reddit からデータを収集し、初期の事前学習済み SVM hatescore がサンプリングを guiding。
• Data prediction は拡張されたラベル付きデータ上でグリッド調整された分類器を用いて未ラベルのコメントを注釈対象として選択。
• Manual annotation はアクティブ・ラーニングの不確実性サンプリングと最大関連性戦略を活用し、情報性とラベルの多様性をバランス。
• Figure-Eight クラウドソーシングによる検証で、アイテムあたり5名の注釈者と Fleiss’ kappa の信頼性測定。
• データセットの構成は2つのファイル Ethos_Binary.csv (998 comments, isHate) および Ethos_Multi_Label.csv (433 comments, 8 HS カテゴリに Binary violence/directed_vs_generalized 指標を含む) を生み出す。

実験結果

リサーチクエスチョン

• RQ1 HS データセットを、クラス間でバランスが取れており、ML モデルにとって有益であるように作成するにはどうすればよいか？
• RQ2 ETHOS を用いたバイナリHS検出で、伝統的なMLおよびニューラルネットを含む広範なモデルの性能はどの程度か？
• RQ3 マルチラベルHS注釈はカテゴリ依存性をどのように捉え、二値ラベリングと比較して検出/解釈を改善するか？
• RQ4 慎重にサンプルされたデータセット上でのクラウドソーシングによるラベル付与時の注釈者間信頼性の測定は何か？
• RQ5 埋め込みベースのモデル（FT, GV, BERT バリアント）は、ETHOS における HS 検出タスクでどのように比較されるか？

主な発見

Model	F1 Score	F1 Hate	Accuracy	Precision	Sensitivity	Recall	Recall Hate	Specificity
MultinomialNB	63.78	59.14	64.73	64.06	58.82	63.96	59.45	69.2
BernoulliNB	47.78	44.52	48.3	48.23	47.81	48.16	41.65	48.51
Logistic Regression	66.5	64.35	66.94	66.94	68.78	67.07	60.46	65.36
SVM	66.07	63.77	66.43	66.47	68.08	66.7	59.96	65.32
Random Forests	64.41	60.07	65.04	64.69	60.61	64.68	59.54	68.75
Gradient Boosting	63.55	59.21	64.33	64.34	59.67	64.2	58.76	68.73
CNN+Attention+FT+GV	75.76	71.76	76.56	76.86	68.64	75.66	75.18	82.68
LSTM+FT+GV	75.24	72.24	75.95	76.57	72.11	75.53	72.36	78.95
FF+LSTM+CNN+FT+GV	75.49	72.08	76.15	76.29	70.88	75.52	73.28	80.16
BiLSTM+FT+GV	77.84	75.40	78.16	78.05	77.15	78.04	73.73	78.94
BERT	79.60	77.13	79.96	79.89	77.87	79.73	76.4	81.59
DistilBERT	79.92	77.16	80.36	80.28	76.47	79.91	77.87	83.36

• ニューラルモデルは、二値 HS 検出において従来の ML ベースラインを上回り、BiLSTM および CNN ベースのアーキテクチャが高い F1 と再現率を達成。
• ファインチューニング済みの BERT と DistilBERT は総合的なパフォーマンスが最も高く、DistilBERT はいくつかの指標でわずかに優れている。
• BiLSTM+FT+GV はヘイトカテゴリに対して高い再現率を達成し、HS の事例検出力を示す。
• データセットはラベル分布がバランスされており、注釈者の高い合意を示す（HS 関連ラベルの Fleiss’ kappa 値が 0.75 を上回る）。
• ETHOS はバランスの取れたHSデータセット作成のための実践的でアクティブ・ラーニング駆動のプロトコルを提供し、冗長性やラベルバイアスといった一般的な問題に対処する。