[論文レビュー] Modeling Trolling in Social Media Conversations

Luis Gerardo Mojica|arXiv (Cornell University)|Dec 15, 2016

Hate Speech and Cyberbullying Detection参考文献 23被引用数 25

ひとこと要約

本稿では、ソーシャルメディアにおけるトロール行動をモデリングするための新規4次元フレームワークを提示し、トロールの意図と、反応者による解釈および反応を両方分析する。本研究では、トロールの意図、意図の露呈、反応者の解釈、応答戦略をラベル付けした、初めての公開可能でアノテート済みのReddit会話データセットを提供し、トロール行動の二重の視点からの計算的モデリングを可能にする。

ABSTRACT

Social media websites, electronic newspapers and Internet forums allow visitors to leave comments for others to read and interact. This exchange is not free from participants with malicious intentions, who troll others by positing messages that are intended to be provocative, offensive, or menacing. With the goal of facilitating the computational modeling of trolling, we propose a trolling categorization that is novel in the sense that it allows comment-based analysis from both the trolls' and the responders' perspectives, characterizing these two perspectives using four aspects, namely, the troll's intention and his intention disclosure, as well as the responder's interpretation of the troll's intention and her response strategy. Using this categorization, we annotate and release a dataset containing excerpts of Reddit conversations involving suspected trolls and their interactions with other users. Finally, we identify the difficult-to-classify cases in our corpus and suggest potential solutions for them.

研究の動機と目的

• トロールの意図と、反応者の認識および反応を両方捉える包括的な計算モデルの構築。
• Reddit会話の新規アノテート済みデータセットの作成。ラベルは4次元：トロールの意図、意図の露呈、反応者の意図解釈、応答戦略。
• 曖昧な意図、認識された攻撃性、複雑な応答ダイナミクスを含む、トロール分類における困難なケースの特定および分析。
• 公開可能な高品質なアノテートリソースを提供することで、今後のNLP分野におけるトロール研究を促進すること。

提案手法

• トロール行動の4次元分類の提案：トロールの意図、意図の露呈、反応者の意図解釈、反応戦略。
• 疑わしいトロールを含むReddit会話の抜粋を収集・アノテートし、文脈と即時の反応を含める。
• 最先端のNLP特徴量（bag-of-wordsとGloVe単語埋め込み）を用いてマルチクラス分類器を訓練。
• 誤分類されたインスタンスを分析し、露呈、解釈、応答戦略予測における主な課題を同定。
• 関連タスク（例：解釈と応答戦略）の共同モデリングを検討し、性能向上を図る。
• 分類誤りの解消に向け、より深い意味的表現や会話シーケンスの時系列モデリングの提案。

実験結果

リサーチクエスチョン

• RQ1 オンライン会話において、トロールの視点と反応者の視点の両方から、トロール行動を体系的にモデリングする方法は何か？
• RQ2 異なるタイプのトロール行動と応答を区別するための、主な言語的および文脈的兆候は何か？
• RQ3 どのケースが分類において最も困難であり、その誤りを引き起こす背後要因は何か？
• RQ4 意図、認識、応答の共同モデリングは、分類性能をどのように向上させるか？
• RQ5 会話履歴および時系列的ダイナミクスは、トロール行動の解釈においてどのような役割を果たすか？

主な発見

• 提案された4次元フレームワークにより、トロールの意図と反応者の認識および反応を両方捉える、より洗練された計算的モデリングが可能になった。
• 本研究で公開されたデータセットは、トロール側と反応者側の両方の次元をアノテートした、類例のない最初のものである。
• 意図の露呈予測における誤りは、浅い意味的表現に起因しており、『頭に銃を突きつける』といった比喩的意味の推論には、より深い意味的モデリングが必要である。
• 『Frustrate』と『Neutralize』の応答戦略の違いは微細であり、とくに皮肉や間接的な批判がある場合には頻繁に誤分類される。
• 反応者が攻撃的になる場合、『Troll』と『Engage』の境界は曖昧になり、会話シーケンスの長さがその急激な拡大を示す重要な指標である。
• 応答履歴や時系列シーケンスといった文脈的特徴を活用することで、分類性能が向上し、とくに曖昧または高衝突な相互作用において顕著である。