[論文レビュー] Investigating Deep Learning Approaches for Hate Speech Detection in Social Media

Prashant Kapil, Asif Ekbal+1 more|arXiv (Cornell University)|May 29, 2020

Hate Speech and Cyberbullying Detection被引用数 12

ひとこと要約

本論文では、特にツイートのような文脈が乏しい短いテキストにおいて、多様な単語埋め込みを用いた深層学習モデルを提案し、ソーシャルメディアにおける嫌がらせ発言を検出する。3つの多様なデータセットにおける実験により、正確性とF1スコアの顕著な向上が確認され、ユーザー生成の嫌がらせ発言の複雑さと多様性に対処するための本手法の有効性が裏付けられた。

ABSTRACT

The phenomenal growth on the internet has helped in empowering individual's expressions, but the misuse of freedom of expression has also led to the increase of various cyber crimes and anti-social activities. Hate speech is one such issue that needs to be addressed very seriously as otherwise, this could pose threats to the integrity of the social fabrics. In this paper, we proposed deep learning approaches utilizing various embeddings for detecting various types of hate speeches in social media. Detecting hate speech from a large volume of text, especially tweets which contains limited contextual information also poses several practical challenges. Moreover, the varieties in user-generated data and the presence of various forms of hate speech makes it very challenging to identify the degree and intention of the message. Our experiments on three publicly available datasets of different domains shows a significant improvement in accuracy and F1-score.

研究の動機と目的

• オンライン表現の自由の乱用によって、ソーシャルメディアプラットフォームにおける嫌がらせ発言の増加という深刻な課題に対処するため。
• ツイートのような文脈が制限された短いテキストにおいて、さまざまな形態の嫌がらせ発言を検出できる堅牢な深層学習モデルを開発するため。
• 多様なソーシャルメディア分野における微妙な嫌がらせ発言表現を捉えるために、異なる単語埋め込みの有効性を評価するため。
• 実世界の公に利用可能な嫌がらせ発言データセットにおいて、正確性とF1スコアの観点から検出性能を向上させるため。

提案手法

• 本研究では、ソーシャルメディアからの入力テキストシーケンスを表現するために、複数の事前学習済み単語埋め込み（例：GloVe、FastText、BERT）を用いる。
• 短いテキストにおける逐次的依存関係や文脈的パターンを捉えるために、双方向LSTM（Bi-LSTM）ネットワークを適用する。
• 入力シーケンスを嫌がらせ発言または非嫌がらせ発言のカテゴリに分類するために、Bi-LSTMの上流に全結合のフィードフォワードニューラルネットワークを用いる。
• エポックの早期停止を用いて過学習を防ぐために、交差エントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 一般化性を確保するため、異なる分野からの3つの公に利用可能な嫌がらせ発言データセットを用いて実験を実施する。
• モデルの性能を最適化するために、ハイパーパrameterチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 異なる単語埋め込み技術は、短いソーシャルメディアテキストにおける嫌がらせ発言検出性能にどのように影響を与えるか？
• RQ2 Bi-LSTMのような深層学習アーキテクチャは、微細なまたは文脈依存の嫌がらせ発言の検出をどの程度向上できるか？
• RQ3 提案されたモデルは、言語的スタイルや嫌がらせ発言表現が異なる多様なソーシャルメディア分野に一般化可能か？
• RQ4 複数のベンチマークデータセットにおいて、F1スコアと正確性の観点から、モデルの相対的な性能はいかほどか？

主な発見

• 提案された深層学習モデルは、ベースライン手法と比較して、評価した3つのデータセットすべてでF1スコアの顕著な向上を達成した。
• BERTのような文脈的埋め込みの使用は、GloVe や FastText のような静的埋め込みと比較して、ほとんどの場合で高い性能を示した。
• 本モデルは、ツイートのような文脈が乏しく、非公式な短いテキストにおける嫌がらせ発言検出において、頑健な性能を示した。
• Bi-LSTMと事前学習済み埋め込みの組み合わせが、最も優れた全体的な性能を発揮した。これは、逐次的モデリングと意味的表現の両方の重要性を示している。