[論文レビュー] Antisocial Behavior in Online Discussion Communities

Justin Cheng, Cristian Danescu-Niculescu-Mizil+1 more|arXiv (Cornell University)|Apr 2, 2015

Hate Speech and Cyberbullying Detection参考文献 19被引用数 171

ひとこと要約

本稿は、CNN、ブルームバーグ、IGNのコミュニティで将来的に禁止処分を受けたユーザーの行動を分析することで、大規模オンラインディスカッションコミュニティにおける反社会的行動を特徴づけている。ユーザー活動と投稿品質の縦断的分析を通じ、読解性の低さ、少数のスレッドでの高い関与、投稿品質の時間的低下といった初期の行動パターンが、将来的な禁止を予測できることを示し、コミュニティ間検出において最大AUC 0.84を達成した。

ABSTRACT

User contributions in the form of posts, comments, and votes are essential to the success of online communities. However, allowing user participation also invites undesirable behavior such as trolling. In this paper, we characterize antisocial behavior in three large online discussion communities by analyzing users who were banned from these communities. We find that such users tend to concentrate their efforts in a small number of threads, are more likely to post irrelevantly, and are more successful at garnering responses from other users. Studying the evolution of these users from the moment they join a community up to when they get banned, we find that not only do they write worse than other users over time, but they also become increasingly less tolerated by the community. Further, we discover that antisocial behavior is exacerbated when community feedback is overly harsh. Our analysis also reveals distinct groups of users with different levels of antisocial behavior that can change over time. We use these insights to identify antisocial users early on, a task of high practical importance to community maintainers.

研究の動機と目的

• 将来的にオンラインディスカッションコミュニティから禁止処分を受けるユーザーの行動的変容を理解すること。
• 反社会的行動が時間経過とともに現れるのか、それとも初期段階から存在するのかを調査すること。
• コミュニティのフィードバック（例：投稿の削除）が反社会的ユーザーの行動的トレジャクトリに与える影響を検討すること。
• 縦断的な行動的信号に基づいて、反社会的ユーザーの早期検出を可能にするシステムを開発すること。
• 削除率のパターンと関与スタイルに基づいて、反社会的ユーザーのタイプ分類を提言すること。

提案手法

• CNN、ブルームバーグ、IGNの18か月間にわたる170万人のユーザー活動の、後向きな縦断的分析を実施。
• 禁止処分を受けたユーザーを「将来的に禁止されたユーザー（FBUs）」、されなかったユーザーを「永遠に禁止されなかったユーザー（NBUs）」として分類し、禁止状況を真のラベルとして用いる。
• 読解性指標、言語的特徴（例：不適切語、肯定的表現）、他のユーザーの投稿との類似性を用いて投稿品質を測定。
• スレッド集中度と返信率を分析することで、高関与・低品質ユーザーを同定。
• 分段線形モデルを用いて、投稿品質とコミュニティの耐性の変化を時間的経過とともに追跡。
• 削除率や言語的パターンなどの行動的特徴を用いて、将来的な禁止を予測する教師あり分類器を訓練し、ドメイン間一般化性能をテスト。

実験結果

リサーチクエスチョン

• RQ1 反社会的ユーザーは、時間の経過とともに行動が悪化するのか、それともコミュニティ参加の初期段階から逸脱的行動が見られるのか？
• RQ2 コミュニティフィードバック（特に投稿の削除）は、反社会的行動の進化にどのように影響するのか？
• RQ3 行動的・言語的信号を用いて、反社会的ユーザーをコミュニティ生活の初期段階で信頼性高く特定できるのか？
• RQ4 反社会的ユーザーには、異なる行動パターンを示す明確なサブタイプが存在するのか？また、それらは関与様式やモデレーションへの反応でどのように異なるのか？
• RQ5 あるコミュニティで学習したモデルは、他のコミュニティにおいても反社会的ユーザーを検出できるのか、一般化性能はいかがなものか？

主な発見

• FBUsはNBUsと比較して、著しく読解性が低く、より多くの不適切語を用い、他のユーザーの投稿とは類似性が低い投稿を書いている。
• FBUsは少数のスレッドに活動を集中させ、平均ユーザーと比較してより多くの返信を受けているため、低品質であるにもかかわらず高い関与度を示している。
• FBUsの投稿品質は時間の経過とともに低下し、コミュニティの耐性は高まる傾向がある—品質を補正しても、FBUsの投稿はより高い頻度で削除されている。
• 反社会的ユーザーのタイプ分類により、2つのグループが特定された：少数のスレッドに集中して投稿する「高削除率（Hi-Del）ユーザー」と、より多くの議論に分散して投稿する「低削除率（Lo-Del）ユーザー」。
• 行動的・言語的特徴を用いて訓練した分類器は、コミュニティ間検出において平均AUC 0.74を達成した。特にLo-Delユーザーに最適化した場合、再現率は0.83に達した。
• ドメイン間一般化性能は良好である：ブルームバーグで学習した分類器は、CNNでAUC 0.76、IGNでAUC 0.74を達成し、bag-of-wordsモデル（平均AUC 0.58）を上回った。