[論文レビュー] Detecting Offensive Language in Tweets Using Deep Learning

Georgios Pitsilis, Heri Ramampiaro+1 more|arXiv (Cornell University)|Jan 13, 2018

Hate Speech and Cyberbullying Detection参考文献 16被引用数 146

ひとこと要約

ユーザ履歴特徴を強化したLSTMベースの分類器のアンサンブルは、ツイートのヘイトスピーチを検出し、16k-tweet datasetで最先端のFスコアを達成し、事前学習済み語彙埋め込みを用いずに動作します。

ABSTRACT

This paper addresses the important problem of discerning hateful content in social media. We propose a detection scheme that is an ensemble of Recurrent Neural Network (RNN) classifiers, and it incorporates various features associated with user-related information, such as the users' tendency towards racism or sexism. These data are fed as input to the above classifiers along with the word frequency vectors derived from the textual content. Our approach has been evaluated on a publicly available corpus of 16k tweets, and the results demonstrate its effectiveness in comparison to existing state of the art solutions. More specifically, our scheme can successfully distinguish racism and sexism messages from normal text, and achieve higher classification quality than current state-of-the-art algorithms.

研究の動機と目的

• 自動的なヘイトスピーチ検出を動機づけ、 manual moderation よりスケーラビリティを向上させる。
• 著者の過去の投稿履歴の特徴（tN、tR、tS）を導入することが分類精度を改善するかを検討する。
• 事前学習済み語彙埋め込みに依存しない言語非依存のディープラーニングモデルを開発する。
• Twitterデータセット上でLSTM分類器のアンサンブルを評価し、最先端手法と比較する。

提案手法

• ツイートを語彙頻度ベクトルとして表現し（言語非依存）、ユーザー行動特徴 tN、tR、tS を付加する。
• 3–5 個のLSTM分類器のアンサンブルを用い、それぞれに拡張入力ベクトルを渡す。
• 分類器の出力を多数決で結合するか、結びつきがある場合は最も自信のある予測を採用する（Combined Decision）。
• 埋め込み/入力、LSTM、デンス、ソフトマックスの4層ニューラルネットワークを、出力を3クラス（Neutral, Racism, Sexism）とする形で訓練する。
• Moses トークン化でデータを前処理し、ツイート長を30語にカットし、ADAM 最適化を用いて Keras で 25k 語彙を使用する。
• 10-fold クロスバリデーションで評価を行い、Precision、Recall、F-score を報告する。セットアップごとに安定性のために15回再実行する。

実験結果

リサーチクエスチョン

• RQ1 新しいツイートを、その作成者の過去の投稿履歴を考慮して Neutral、Racism、Sexism のいずれに正確に分類できるか。
• RQ2 ユーザー履歴特徴（tN、tR、tS）を導入することがヘイトスピース分類性能に与える影響は何か。
• RQ3 LSTM分類器のアンサンブルは、単一のLSTMモデルや既存手法よりもTwitterデータで優れているか。
• RQ4 事前学習済み埋め込みなしの言語非依存アプローチは、短文のヘイトスピーチ検出に有効か。

主な発見

Approach	Characteristics	Precision	Recall	F-Score
single classifier (i)	O	0.9175	0.9218	0.9196
single classifier (ii)	NS	0.9246	0.9273	0.9260
single classifier (iii)	NR	0.9232	0.9259	0.9245
single classifier (iv)	RS	0.9232	0.9264	0.9248
single classifier (v)	NRS	0.9252	0.9278	0.9265
ensemble (i)	O + NRS + NR	0.9283	0.9315	0.9298
ensemble (ii)	O + NRS + NS	0.9288	0.9319	0.9303
ensemble (iii)	O + NRS + RS	0.9283	0.9315	0.9299
ensemble (iv)	O + NS + RS	0.9277	0.9310	0.9293
ensemble (v)	O + NS + NR	0.9276	0.9308	0.9292
ensemble (vi)	O + RS + NR	0.9273	0.9306	0.9290
ensemble (vii)	NRS + NR + RS	0.9292	0.9319	0.9306
ensemble (viii)	NRS + NR + NS	0.9295	0.9321	0.9308
ensemble (ix)	NRS + NS + RS	0.9294	0.9321	0.9308
ensemble (x)	NS + RS + NR	0.9286	0.9314	0.9300
ensemble (xi)	O + NS + RS + NR + NRS	0.9305	0.9334	0.9320

• 3つの分類器のアンサンブル（O + NRS + NR）は F-Score 0.9298（Precision 0.9283, Recall 0.9315）を達成。
• アンサンブルは一般に単一分類器より性能を向上させる；最良の5分類器アンサンブル（xi）は F-Score 0.9320（Precision 0.9305, Recall 0.9334）。
• 単一分類器は F-Score が約 0.926〜0.926、アンサンブルは約 0.930〜0.932 に達する。
• クラス別の結果では Sexism は検出が容易（Precision/Recall がほぼ完璧）、Racism は難しく（例: F 約 0.70）、Neutral も信頼性高く検出（F 約 0.95）。
• ユーザー行動特徴（tN、tR、tS）を使用すると、テキストのみのベースラインより改善が見られ、履歴情報の価値を示している。