[論文レビュー] All You Need is "Love": Evading Hate-speech Detection

Tommi Gröndahl, Luca Pajola+3 more|arXiv (Cornell University)|Aug 28, 2018

Hate Speech and Cyberbullying Detection被引用数 73

ひとこと要約

本論文は seven state-of-the-art のヘイトスピーチ検出器を再現し、性能がデータセット依存であることを示し、語彙ベースのモデルを文字ベースのモデルよりも崩す堅牢な敵対的攻撃を実証し、敵対的訓練と前処理の微調整による部分的な緩和を示しています。

ABSTRACT

With the spread of social networks and their unfortunate use for hate speech, automatic detection of the latter has become a pressing problem. In this paper, we reproduce seven state-of-the-art hate speech detection models from prior work, and show that they perform well only when tested on the same type of data they were trained on. Based on these results, we argue that for successful hate speech detection, model architecture is less important than the type of data and labeling criteria. We further show that all proposed detection techniques are brittle against adversaries who can (automatically) insert typos, change word boundaries or add innocuous words to the original hate speech. A combination of these methods is also effective against Google Perspective -- a cutting-edge solution from industry. Our experiments demonstrate that adversarial training does not completely mitigate the attacks, and using character-level features makes the models systematically more attack-resistant than using word-level features.

研究の動機と目的

• 複数のデータセット間でのヘイトスピーチ検出モデルの転移可能性を評価する。
• モデルのアーキテクチャとデータラベリングの基準が検出性能に影響するかを評価する。
• ヘイトスピーチ検出を回避できる敵対的なテキスト modification を特定する。
• 敵対的なテキスト攻撃に対する簡易な防御とその限界を検討する。

提案手法

• 4つのデータセットにわたって4つの先行研究から7つのヘイトスピーチ検出モデルを再現する。
• あるデータセットで学習し、他のデータセットでテストすることでクロスデータセット一般化を評価する。
• 6つの敵対的テキスト攻撃を体系的に実装する（3カテゴリ各2 variants）。
• 敵対的訓練と前処理ベースの緩和策を検証する（スペルチェック、スペース処理）。
• 語彙ベースと文字ベースのモデルを攻撃への脆弱性で比較する。

実験結果

リサーチクエスチョン

• RQ1 ヘイトスピーチ検出モデルは異なるデータセットやドメインでうまく一般化するか。
• RQ2 性能はモデルのアーキテクチャか、それともデータ/ラベリング基準に支配されるか。
• RQ3 簡単な自動テキスト修正で検出器を回避できるか、そして一部のモデルタイプが他より頑健か。
• RQ4 敵対的訓練と前処理の緩和策は攻撃の効果を減少させるか。
• RQ5 語彙ベースと文字ベースのモデルは特定の攻撃タイプに対してどのように感受性が異なるか。

主な発見

• 同じデータセットで訓練・テストした場合はすべてのモデルの性能が類似しているが、データセット間の転移は著しく失敗し、データセット依存性が強いことを示す。
• 語彙ベースのモデルはトークン化/単語境界攻撃に対して文字ベースのモデルより脆弱である。
• 文字ベースのモデルは攻撃で完全には破壊されず、敵対的訓練は特にleet speak に対する頑健性を大幅に向上させる。
• 語彙追加攻撃は語彙ベース・文字ベースの両方のモデルの性能を低下させうるが、緩和の効果は手法によって異なる。
• 事前学習済み言語転送（ULMFiT）はこの再現ではベースラインを上回らなかった。
• Google Perspective のトクシシティ（毒性スコア）は、単純な非ヘイトフルな追加で容易に水増しされ、ヘイトスピーチとの不一致を強調する。