[論文レビュー] Examining a hate speech corpus for hate speech detection and popularity prediction

Filip Klubička, Raquel Fernández|UvA-DARE (University of Amsterdam)|May 12, 2018

Hate Speech and Cyberbullying Detection被引用数 8

ひとこと要約

この論文は、ハートスピーチ検出および人気予測のための広く使われているTwitterハートスピーチコーパスを批判的に評価し、以前の検出結果をわずかに低いF1スコア（0.71 vs. 0.74）で再現した。また、ハートスピーチツイートは少数のユーザーに著しく偏っており、検出モデルおよび人気予測モデルにバイアスをもたらしていることが判明した。さらに、ハートスピーチはいいねやリプライに悪影響を及えるがリツイートに顕著な影響はないことが示され、ハートスピーチツイートのみをモデル化することでリツイート予測のパフォーマンスが向上することがわかった。

ABSTRACT

As research on hate speech becomes more and more relevant every day, most of it is still focused on hate speech detection. By attempting to replicate a hate speech detection experiment performed on an existing Twitter corpus annotated for hate speech, we highlight some issues that arise from doing research in the field of hate speech, which is essentially still in its infancy. We take a critical look at the training corpus in order to understand its biases, while also using it to venture beyond hate speech detection and investigate whether it can be used to shed light on other facets of research, such as popularity of hate tweets.

研究の動機と目的

• 広く引用されているTwitterコーパスを用いて、以前のハートスピーチ検出結果の再現と検証を行う。
• コーパスがハートスピーチツイートの人気（いいね、リプライ、リツイート）を予測できるかどうかを調査する。
• ユーザー分布およびアノテーションの観点から、コーパス内のバイアスを特定するための定量的および定性的分析を実施する。
• データの不足と一時的なソーシャルメディアコンテンツの特性を考慮し、ハートスピーチ研究の再現可能性を評価する。
• 現在のハートスピーチデータセットの限界を強調し、モデルの結果の解釈をより注意深く行うべきであることを提言する。

提案手法

• 元の研究と同一のモデルアーキテクチャおよびハイパーパrameterを用いて、ハートスピーチ検出を再現した。
• Tweepy APIを用いて、時間の経過に伴うツイートの利用可能性の変化を考慮して、元のコーパスからツイートおよびメタデータを抽出した。
• 人種差別と性別差別を一つの「ハートスピーチ」カテゴリに統合し、クラスの不均衡とユーザーの偏りを軽減した。
• ツイート本文およびメタデータ特徴量を用いて、いいね、リプライ、リツイートの発生確率を予測するためのバイナリ分類モデルを訓練した。
• 人気予測に影響を与える言語的および社会的特徴を理解するために、特徴量の重要度分析を実施した。
• ユーザーのレベルでの不均衡およびアノテーションの一貫性に注目した、定量的および定性的なコーパス分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 同じコーパスと手法を用いて、元のハートスピーチ検出結果をどの程度再現できるか。
• RQ2 このハートスピーチコーパスを用いて、いいね、リプライ、リツイートという観点からハートスピーチツイートの人気を予測できるか。
• RQ3 コーパス内のユーザーのレベルでの不均衡が、ハートスピーチ検出および人気予測モデルの一般化可能性にどのように影響するか。
• RQ4 特にユーザー分布およびアノテーションの一貫性の観点から、コーパスにどのようなバイアスが存在するか。
• RQ5 ハートスピーチツイートのみを含むモデルの導入が、人気予測モデルのパフォーマンスにどのように影響するか。

主な発見

• ハートスピーチ検出の再現はF1スコア0.71を達成し、元の研究が報告した0.74よりわずかに低かった。これは、不完全な手法記述による再現性の課題を浮き彫りにした。
• コーパスは極端なユーザーのレベルでの不均衡を示しており、5人のユーザーが全ハートスピーチツイートの80％を占めており、代表性に著しい制限をもたらしている。
• ハートスピーチツイートは、いいねやリプライの獲得確率が著しく低く、リツイートの確率に顕著な影響は見られなかった。
• ハートスピーチツイートのみを用いて訓練したモデルが、一般モデルよりもリツイート予測のパフォーマンスを上回った。これは、ハートスピーチコンテンツが独自のリツイート可能性のシグナルを含んでいる可能性を示唆している。
• 特徴量分析の結果、攻撃的用語や標的グループへの言及といったハートスピーチの言語的マーカーが、いいねやリプライの低反応を強く予測する要因であることがわかった。
• 本研究は、コーパスが研究において依然として有用である一方で、特にユーザーおよびクラスの不均衡といったバイアスを、結果の解釈にあたって注意深く考慮する必要があると結論づけた。