[論文レビュー] The Enemy Among Us: Detecting Hate Speech with Threats Based 'Othering' Language Embeddings

Wafa Alorainy, Pete Burnap+2 more|arXiv (Cornell University)|Jan 23, 2018

Hate Speech and Cyberbullying Detection参考文献 49被引用数 6

ひとこと要約

本稿では、文脈化された段落埋め込みを用いたDoc2Vecを通じて、『他者化』言語（例：we/them などの代名詞ペア、send them などの動詞＋代名詞パターン）をモデル化することで、微妙な嫌がらせを検出する新しいNLPフレームワークを提案する。この手法は、明示的な嫌がらせ語に依存しないため、明白でないが脅威に基づく物語的表現を捉えることができ、F-measureは宗教関連で0.93、障害関連で0.86、人種関連で0.97、性的指向関連で0.98を達成し、最先端のモデルを著しく上回る。

ABSTRACT

Offensive or antagonistic language targeted at individuals and social groups based on their personal characteristics (also known as cyber hate speech or cyberhate) has been frequently posted and widely circulated viathe World Wide Web. This can be considered as a key risk factor for individual and societal tension linked toregional instability. Automated Web-based cyberhate detection is important for observing and understandingcommunity and regional societal tension - especially in online social networks where posts can be rapidlyand widely viewed and disseminated. While previous work has involved using lexicons, bags-of-words orprobabilistic language parsing approaches, they often suffer from a similar issue which is that cyberhate can besubtle and indirect - thus depending on the occurrence of individual words or phrases can lead to a significantnumber of false negatives, providing inaccurate representation of the trends in cyberhate. This problemmotivated us to challenge thinking around the representation of subtle language use, such as references toperceived threats from "the other" including immigration or job prosperity in a hateful context. We propose anovel framework that utilises language use around the concept of "othering" and intergroup threat theory toidentify these subtleties and we implement a novel classification method using embedding learning to computesemantic distances between parts of speech considered to be part of an "othering" narrative. To validate ourapproach we conduct several experiments on different types of cyberhate, namely religion, disability, race andsexual orientation, with F-measure scores for classifying hateful instances obtained through applying ourmodel of 0.93, 0.86, 0.97 and 0.98 respectively, providing a significant improvement in classifier accuracy overthe state-of-the-art

研究の動機と目的

• 既存の嫌がらせ検出手法が明示的な嫌がらせ語に依存しており、間接的・微妙な嫌がらせ表現を捉えられないという限界を是正すること。
• 『私たち』と『彼ら』の分離を示す『他者化』の言語的特徴を文脈的意味的層としてモデル化することで、分類精度を向上させること。
• 集団間の脅威とされる認識を示す二面的代名詞と動詞＋代名詞パターンの新しい語彙を構築すること。
• 宗教、障害、人種、性的指向といった多様なサイバー嫌がらせタイプにわたって、このアプローチの有効性を検証すること。
• 『他者化』特徴の埋め込みベースの意味的類似度学習が、単語レベルやn-gram特徴に比べて分類器の性能をどのように向上させるかを示すこと。

提案手法

• 本手法は、『私たち／彼ら』（例：we/them, us/them）のような二面的代名詞、および『彼らを送る』（例：send them, protect us）のような動詞＋代名詞パターンを含む、独自の『他者化語彙』を構築する。
• 文書の段落レベルの埋め込みを学習するために、Doc2Vecアルゴリズムを適用し、『他者化』特徴と周辺テキストとの意味的類似度をエンコードする。
• モデルは、明示的な嫌がらせ語が存在しないままでも、『他者化』ナラティブを含む嫌がらせテキストが、埋め込み空間内でより近接してクラスタリングされるようなベクトル表現を学習する。
• 言語的特徴を心理的・社会学的枠組みに根拠づけるために、集団間脅威理論と『他者化』理論を統合する。
• 学習された埋め込み空間における意味的距離を用い、『他者』からの脅威とされる認識のパターンを示すテキストを、サイバー嫌がらせと分類する。
• 本フレームワークは、宗教、障害、人種、性的指向を標的とする4つのサイバー嫌がらせデータセットを用いて訓練・評価され、F-measureを主指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 明示的な嫌がらせ語に依存するのではなく、『他者化』言語特徴をモデル化することで、機械学習モデルが嫌がらせをより効果的に検出できるか？
• RQ2 言語的特徴設計に集団間脅威理論を組み込むことで、間接的・微妙な嫌がらせの検出がどの程度向上するか？
• RQ3 従来のbag-of-wordsやn-gramアプローチと比較して、『他者化』特徴の埋め込みベース表現が分類器性能をどの程度向上させるか？
• RQ4 提案手法は、宗教、障害、人種、性的指向といった異なるタイプのサイバー嫌がらせに一般化可能か？
• RQ5 文脈における意味的類似度を学習することで、単一の言葉が攻撃的でない場合でも、明示的・暗黙的両方の嫌がらせをモデルが捉えられるか？

主な発見

• 提案手法は宗教関連データセットでF-measure 0.93を達成し、最良のベースラインモデル比で8%の改善を示した。
• 障害関連嫌がらせではF-measure 0.86を達成し、最も強力なベースライン比で11%の改善を示した。
• 人種を標的とする嫌がらせではF-measure 0.97を達成し、前回の最先端技術比で11%の改善を示した。
• 性的指向関連ではF-measure 0.98を記録し、すべてのベースラインを上回った。
• 定性的分析により、モデルが『私たち』／『彼ら』の語彙、脅威関連語（例：invasion, confusion）、行動動詞（例：send, hang）を意味的空間で適切にクラスタリングしていることが確認され、物語的構造の的確な捉えが示された。
• モデルは『彼らを帰れ』のような、明示的な嫌がらせ語を含まないが排除的意図を示す微妙な嫌がらせも検出でき、偽陰性を低減した。