[論文レビュー] Cyberbullying Identification Using Participant-Vocabulary Consistency

Elaheh Raisi, Bert Huang|arXiv (Cornell University)|Jun 26, 2016

Hate Speech and Cyberbullying Detection参考文献 16被引用数 39

ひとこと要約

本稿では、ユーザー行動と言語的指標の整合性を最適化することで、サイバーいじめの被害者・加害者・新規の皮肉表現を同時に検出する弱教師付き関係的モデル、Participant-Vocabulary Consistency (PVC) を提案する。この手法は、共起性や動的クエリ拡張と比較して、精度と再現率のバランスを優れて達成し、Twitter および Ask.fm のデータにおいて新しいいじめ関連語彙を高い正確性で検出する。

ABSTRACT

With the rise of social media, people can now form relationships and communities easily regardless of location, race, ethnicity, or gender. However, the power of social media simultaneously enables harmful online behavior such as harassment and bullying. Cyberbullying is a serious social problem, making it an important topic in social network analysis. Machine learning methods can potentially help provide better understanding of this phenomenon, but they must address several key challenges: the rapidly changing vocabulary involved in cyber- bullying, the role of social network structure, and the scale of the data. In this study, we propose a model that simultaneously discovers instigators and victims of bullying as well as new bullying vocabulary by starting with a corpus of social interactions and a seed dictionary of bullying indicators. We formulate an objective function based on participant-vocabulary consistency. We evaluate this approach on Twitter and Ask.fm data sets and show that the proposed method can detect new bullying vocabulary as well as victims and bullies.

研究の動機と目的

• 教師ありサイバーいじめ検出の限界、すなわち高額なアノテーションコスト、一貫性の欠如するラベル付け、急速に変化するスラングの問題に対処すること。
• 高精度ないじめ表現の小さなシードセットのみを用いて、弱教師付きの方法で加害者・被害者・新規いじめ語彙を同時に特定すること。
• ユーザーと言語的表現の両方の間で一貫したパターンを学習することで、いじめ言語の動的性質をモデル化すること。
• Twitter および Ask.fm の実世界のソーシャルメディアデータを用いて評価し、保留済みのいじめ語彙の回復とユーザー役割検出に焦点を当てる。

提案手法

• PVC モデルは、相互作用の各段階でユーザー得点（いじめを行う傾向）と語彙得点（いじめの兆候となる傾向）の整合性を強制する目的関数を定式化する。
• 学習プロセスの初期化に、非常に特徴的ないじめ表現の小さなシード辞書を用い、最適化によりすべてのユーザーおよび語彙の得点を推定する。
• パラメータを最適化することで、シードデータとの不一致を最小化し、ユーザーと言語的表現の間で関係的パターンを学習する。
• バイナリの共起ベースラインとは異なり、実数値の得点を計算することで、精度と再現率のトレードオフを可能にする。
• 相互作用を関係的三元組（user1 → message → user2）としてモデル化し、SNSのネットワーク構造を活用する。メッセージの内容がユーザーおよび語彙の得点に影響を与える。
• 評価では、完全な汚い言葉辞書から保留済みのいじめ語彙を用い、ROC曲線およびベースライン語彙得点に対するリフトを用いて性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 小さないじめ表現のシードセットのみを用いて、弱教師付きモデルが新規のサイバーいじめ語彙、加害者、被害者を同時に検出できるか。
• RQ2 PVC モデルは、共起性や動的クエリ拡張といったベースライン手法と比較して、シードセットに含まれない既知のいじめ語彙をどれほど効果的に回復できるか。
• RQ3 PVC モデルは、新規いじめ語彙の検出において、精度と再現率のバランスをどの程度達成できるか。
• RQ4 学習されたユーザー得点は、プロフィール分析や会話のパターンから示される実際のいじめ行動と相関しているか。
• RQ5 PVC モデルは、現実世界のソーシャルメディアのやり取りにおいて、人種差別的・性別差別的・LGBT差別的スラングを含む攻撃的言語を検出できるか。

主な発見

• Twitter では、PVC モデルがターゲットいじめ語彙の平均得点を、全語彙の平均に対して 1.5 標準偏差上回り、DQE（0.242 のリフト）や共起性（リフトなし）を著しく上回った。
• Ask.fm では、PVC モデルがターゲット語彙に対して 0.825 標準偏差のリフトを達成したのに対し、DQE は 0.0099 のリフトにとどまり、ターゲット語と非ターゲット語の識別能が優れていることが示された。
• PVC モデルは DQE よりも高い割合の保留済みいじめ語彙を回復しながらも、より高い精度を維持しており、再現率と精度のバランスに優れていることが確認された。
• 上位 1,000 個の得点が高い語彙の手動検査では、人種差別的・性別差別的・LGBT差別的スラングを含む有効ないじめ語彙が確認され、モデルが新規の攻撃的言語を検出できる能力を有していることが裏付けられた。
• Twitter および Ask.fm の両データセットで高得点のユーザーは、攻撃的言語の頻繁な使用など、いじめ行動と整合する行動を示しており、モデルのユーザー役割予測の妥当性が裏付けられた。
• モデルは Ask.fm における炎上する会話（スラングの繰り返し使用や敵対的やり取り）を効果的に検出できており、実世界への適用可能性を支持するものであった。