[論文レビュー] Opinion Conflicts: An Effective Route to Detect Incivility in Twitter

Suman Kalyan Maity, Aishik Chakraborty+2 more|arXiv (Cornell University)|Sep 2, 2018

Hate Speech and Cyberbullying Detection参考文献 92被引用数 16

ひとこと要約

本稿では、文字レベルの畳み込みニューラルネットワーク（CNN）とエンティティ固有のセンチメント特徴を用いて、ユーザーと固有名詞の間の意見対立を活用することで、Twitterにおける不遜な発言を検出する深層学習モデルを提案している。93.3%の精度を達成し、最良のベースラインより4.9%高い性能を示した。

ABSTRACT

In Twitter, there is a rising trend in abusive behavior which often leads to incivility. This trend is affecting users mentally and as a result they tend to leave Twitter and other such social networking sites thus depleting the active user base. In this paper, we study factors associated with incivility. We observe that the act of incivility is highly correlated with the opinion differences between the account holder (i.e., the user writing the incivil tweet) and the target (i.e., the user for whom the incivil tweet is meant for or targeted), toward a named entity. We introduce a character level CNN model and incorporate the entity-specific sentiment information for efficient incivility detection which significantly outperforms multiple baseline methods achieving an impressive accuracy of 93.3% (4.9% improvement over the best baseline). In a post-hoc analysis, we also study the behavioral aspects of the targets and account holders and try to understand the reasons behind the incivility incidents. Interestingly, we observe that there are strong signals of repetitions in incivil behavior. In particular, we find that there are a significant fraction of account holders who act as repeat offenders - attacking the targets even more than 10 times. Similarly, there are also targets who get targeted multiple times. In general, the targets are found to have higher reputation scores than the account holders.

研究の動機と目的

• ユーザーと固有名詞の間の意見対立が、Twitterにおける不遜な発言を引き起こす要因として果たす役割を調査すること。
• 既存のベースラインを上回る、自動的かつスケーラブルな不遜な発言検出手法を構築すること。
• 不遜な発言の実行者と標的者における行動パターン（繰り返しや評判のダイナミクスを含む）を分析すること。
• オンラインの毒性を低減し、コミュニティの健全性を向上させるための、プラットフォーム設計と政策立案に役立つインサイトを提供すること。

提案手法

• 著者らは、ツイート内の微細な言語的パターンを捉えるために、文字レベルの畳み込みニューラルネットワーク（CNN）モデルを提案している。
• ユーザー（アカウント所有者）と標的エンティティの間の意見対立を強調するために、エンティティ固有のセンチメント情報をモデルに組み込んでいる。
• ツイートの内容をエンコードするために、単語埋め込みと文字レベルのLSTMを用いており、攻撃的言語や感情的トーンへの感受性を高めている。
• 標的ユーザーの歴史的ツイートから、固有名詞のセンチメントスコアを抽出し、意見対立の度合いを定量化している。
• ラベル付きの不遜な発言ツイートデータセット上で、エンドツーエンドに訓練されており、損失関数は交差エントロピーにより最適化されている。
• 後続の行動分析として、繰り返し頻度や評判スコア（例：フォロワー数、エンゲージメント）を含む、ユーザー間の相互作用パターンを分析している。

実験結果

リサーチクエスチョン

• RQ1 ユーザーと固有名詞の間の意見対立は、ツイートにおける不遜な発言をどの程度予測可能か？
• RQ2 エンティティ固有のセンチメントを組み込むことで、ベースラインモデルと比較して不遜な発言検出性能がどの程度向上するか？
• RQ3 繰り返しや評判といった行動パターンは、不遜な発言の実行者や標的者をどのように特徴づけるか？
• RQ4 意見対立の早期検出は、不遜な発言やネットいじめへの悪化を防ぐのに役立つか？

主な発見

• 提案されたモデルは93.3%の精度と0.82のF1スコアを達成し、最良のベースラインと比較して精度で4.9%、F1スコアで6.5%の向上を示した。
• 多くのアカウント所有者（繰り返し攻撃者）が10回以上同じ人物を標的にしていることが判明し、持続的な不遜な発言行動が確認された。
• 不遜な発言の標的者たちは、アカウント所有者よりも常に高い評判スコア（例：フォロワー数、エンゲージメント）を示しており、一般的なネットいじめのダイナミクスとは対照的であった。
• アカウント所有者のツイートには、『swear』『sex』『religion』『death』といった否定的センチメント語の頻度が高く、感情的強度の兆候とされた。
• 標的者のツイートには肯定的な感情が豊富に含まれており、実行者と被害者の間で感情的トーンに著しい対比が見られた。
• 繰り返し標的にされる事例が強く確認され、一部の人物が複数回攻撃を受けていることが判明し、早期干渉システムの必要性が浮き彫りになった。