[論文レビュー] Leveraging Intra-User and Inter-User Representation Learning for Automated Hate Speech Detection

Jing Qian, Mai ElSherief+2 more|arXiv (Cornell University)|Apr 9, 2018

Hate Speech and Cyberbullying Detection参考文献 12被引用数 7

ひとこと要約

本稿では、ツイッターにおける嫌がらせ発言検出を向上させるために、ユーザーの歴史的ツイート（イントラユーザー）と他のユーザーの意味的に類似したツイート（インターユーザー）の表現学習を統合的に活用する、新しい深層学習フレームワークを提案する。強化された双方向LSTMを用いて関連性のあるインターユーザーのツイートを動的に選択し、それらをユーザー固有の表現と組み合わせることで、強力なバイリサイプロカルLSTMベースラインのFスコアを10.1%向上させ、ノイズが多く短いソーシャルメディアコンテンツにおける誤検出と見逃しを顕著に低減した。

ABSTRACT

Hate speech detection is a critical, yet challenging problem in Natural Language Processing (NLP). Despite the existence of numerous studies dedicated to the development of NLP hate speech detection approaches, the accuracy is still poor. The central problem is that social media posts are short and noisy, and most existing hate speech detection solutions take each post as an isolated input instance, which is likely to yield high false positive and negative rates. In this paper, we radically improve automated hate speech detection by presenting a novel model that leverages intra-user and inter-user representation learning for robust hate speech detection on Twitter. In addition to the target Tweet, we collect and analyze the user's historical posts to model intra-user Tweet representations. To suppress the noise in a single Tweet, we also model the similar Tweets posted by all other users with reinforced inter-user representation learning techniques. Experimentally, we show that leveraging these two representations can significantly improve the f-score of a strong bidirectional LSTM baseline model by 10.1%.

研究の動機と目的

• 既存の嫌がらせ発言検出モデルが個々のツイートを独立して扱う傾向に起因する、高い誤検出率および見逃し率を是正すること。
• ユーザー固有の言語的パターンをその歴史的ツイートシーケンス（インフラユーザー表現）としてモデル化することで、検出のロバスト性を向上させること。
• 他のユーザーからの意味的に類似したツイートを統合することで、個々のツイートのノイズを低減すること（強化学習エージェントを介したインターユーザー表現の導入）。
• ターゲットツイート、インフラユーザー表現、インターユーザー表現を統合的に統合した深層学習フレームワークを構築し、分類性能を向上させること。
• 手動ラベルの必要がないまま、非教師ありのユーザー履歴および大規模なラベルなしツイートコーパスが、嫌がらせ発言検出を顕著に改善できることを示すこと。

提案手法

• モデルは、ターゲットツイートを表現にエンコードするために、バイリサイプロカルLSTM（Bi-LSTM）をベースラインとして用いる。
• インフラユーザー表現は、同じBi-LSTMアーキテクチャを用いて最大400件のターゲットユーザーの歴史的ツイートをエンコードし、重み付き和による集約によって得られる。
• インターユーザー表現は、局所性に敏感なハッシュ（LSH）を用いて他のユーザーの意味的に類似したツイートを選択し、別個のBi-LSTMで処理することで構築される。
• ポリシー勾配エージェントは、候補セットから1件ずつインターユーザーのツイートを選択し、時間経過とともに表現品質を向上させる強化学習フレームワークを用いる。
• 最終的な予測は、ターゲットツイート表現、インフラユーザー表現、強化されたインターユーザー表現を統合して、共有の分類ヘッドを介して行う。
• モデルは、大規模なツイッターコーパスで事前学習された単語埋め込みを用い、Adam最適化アルゴリズムを用いてエンド・ツー・エンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 個々のツイートを独立して扱うのではなく、ユーザーの歴史的ツイートシーケンスをモデル化することで、嫌がらせ発言検出の性能が向上するか？
• RQ2 他のユーザーからの意味的に類似したツイートを統合することで、ノイズや曖昧な個々のツイートに対するロバスト性が向上するか？
• RQ3 動的にインターユーザーのツイートを選択する強化学習エージェントは、ランダム選択や固定集約よりも検出精度を向上させるか？
• RQ4 インフラユーザー表現とインターユーザー表現を統合することで、嫌がらせ発言検出における誤検出および見逃し率はどの程度低減されるか？
• RQ5 本フレームワークは、ユーザー履歴や大規模なラベルなしテキストコーパスが利用可能な他のテキスト分類タスクに一般化可能か？

主な発見

• 提案されたモデルは、インフラユーザー表現と強化されたインターユーザー表現を統合することで、強力なバイリサイプロカルLSTMベースラインのFスコアを10.1%向上させた。
• インフラユーザー表現を単独で統合することで、ユーザー固有の言語的パターンと文脈を捉えることにより、誤検出率が低下した。
• 強化学習エージェントによるインターユーザーのツイート選択は、ランダム選択よりもわずかだが統計的に有意な改善（p < 0.01）をもたらした。
• 精度、再現率、F1スコアの指標において、SVM、ロジスティック回帰、CNN、アテンションベースのバイリサイプロカルLSTMといった複数の強力なベースラインを著しく上回った。
• 誤差解析の結果、レアな略語や皮肉的・比喩的表現は依然として課題であり、特にターゲットおよびインターユーザー表現の信頼性が低い場合に顕著に影響を受けることが判明した。
• 本フレームワークは汎用可能であり、ユーザー履歴や大規模なラベルなしテキストデータを含む他のNLPタスクへの応用が可能である。