[論文レビュー] Detecting Online Hate Speech Using Context Aware Models

Lei Gao, Ruihong Huang|arXiv (Cornell University)|Oct 20, 2017

Hate Speech and Cyberbullying Detection参考文献 16被引用数 32

ひとこと要約

本稿では、完全な文脈情報を保持するFox Newsのコメントスレッドを用いた新しいアノテート済みコーパスを用いて、文脈に配慮した嫌がらせ発言検出モデルを提案する。ロジスティック回帰およびニューラルネットワークモデルに、ユーザー名、ニュースタイトル、スレッド化されたコメントなどの文脈特徴を組み込み、強力なベースライン比でF1スコアで10%の向上を達成。アンサンブルモデルが最も優れた性能を示した。

ABSTRACT

In the wake of a polarizing election, the cyber world is laden with hate speech. Context accompanying a hate speech text is useful for identifying hate speech, which however has been largely overlooked in existing datasets and hate speech detection models. In this paper, we provide an annotated corpus of hate speech with context information well kept. Then we propose two types of hate speech detection models that incorporate context information, a logistic regression model with context features and a neural network model with learning components for context. Our evaluation shows that both models outperform a strong baseline by around 3% to 4% in F1 score and combining these two models further improve the performance by another 7% in F1 score.

研究の動機と目的

• 既存の嫌がらせ発言データセットやモデルが周囲のテキスト、ユーザー名、記事の文脈を無視する傾向にあるという問題に対処する。
• ユーザー名、記事タイトル、返信チェーンを含む完全なスレッド文脈を保持した1,528件のFox Newsユーザーコメントから構成される新しいアノテート済みコーパスを開発する。
• 従来の機械学習（ロジスティック回帰）およびディープラーニング（注意機構付きLSTM）モデルに文脈特徴を組み込むことで、嫌がらせ発言検出を向上させる。
• 文脈に配慮したモデルが、特に微妙なまたは暗黙の嫌がらせ発言を検出する際、文脈を無視するベースラインよりも顕著に優れていることを示す。
• 異なるモデルタイプを組み合わせることで、相補的な強みを活かし、全体的な性能をさらに向上させられることを示す。

提案手法

• 10件のFox Newsディスカッションスレッドから1,528件のユーザーコメントをアノテートし、ユーザー名、記事タイトル、スレッド化された返信を含む完全な文脈を保持する。
• ロジスティック回帰モデルのための文脈特徴を抽出し、コメント本文およびその文脈からの文字n-gram、単語n-gram、LIWC、NRC感情分析特徴を含む。
• 長距離依存関係を捉え、嫌がらせを示す表現を強調するための注意機構付き双方向LSTMモデルを設計する。
• コメントのみを入力とするモデルと文脈強化済み入力のモデルを別々に学習し、文脈の影響を明確に分離する。
• ロジスティック回帰モデルとニューラルネットワークモデルの予測を組み合わせるため、スコア平均化およびマックス投票戦略を用いたアンサンブルモデルを構築する。
• F1スコア、AUC、精度、再現率を評価指標として用い、異なる設定におけるモデルの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー名、記事タイトル、返信スレッドなどの文脈的情報を組み込むことで、嫌がらせ発言検出の性能はどの程度向上するか？
• RQ2 文脈が組み込まれた場合、特徴ベースのロジスティック回帰モデルとニューラルネットワークモデルの性能はどのように比較されるか？
• RQ3 ロジスティック回帰とニューラルネットワークの予測を組み合わせたアンサンブルモデルは、個々のモデルよりも優れた性能を達成できるか？
• RQ4 どのような種類の嫌がらせ発言がロジスティック回帰モデルとニューラルネットワークモデルのどちらにより効果的に検出されるのか、その理由は何か？
• RQ5 文脈に配慮したモデルは、標準的なモデルが見逃しがちな、繊細な、暗黙的、またはスペルミスされた嫌がらせ発言をどのように処理するか？

主な発見

• 文脈に配慮したロジスティック回帰モデルは、コメント本文のみを用いたベースラインモデルと比較して、F1スコアが約4%向上した。
• 注意機構付きニューラルネットワークモデルは、コメントのみを入力とするバージョンと比較して、F1スコアが約4%向上し、特に長く複雑なコメントにおける嫌がらせ発言の同定に優れていた。
• ロジスティック回帰とニューラルネットワークの予測を組み合わせたアンサンブルモデルは、最も強いベースラインモデルと比較して、F1スコアで10%の向上を達成した。
• マックススコアアンサンブルモデルは、同等の精度を維持しながら再現率を20%以上向上させ、以前に見逃されていた嫌がらせ発言の検出能力が向上した。
• スコア平均化アンサンブルモデルは、AUCを約7%向上させ、全体的な識別能力が向上した。
• ロジスティック回帰モデルは、未知語（OOV）やスペルミス（例：'femanazis'）、すべて大文字の侮辱表現（例：'FBLM'）を検出する際に特に効果的であり、強力な文字レベルn-gram特徴のおかげであった。