[論文レビュー] Are Proactive Interventions for Reddit Communities Feasible?

Hussam Habib, Maaz Bin Musa+2 more|arXiv (Cornell University)|Nov 22, 2021

Hate Speech and Cyberbullying Detection被引用数 6

ひとこと要約

本稿では、サブレdditコミュニティの進化的特徴に基づいて訓練された説明可能な機械学習モデルを用いて、プロアクティブで機械支援による問題コミュニティの特定の可能性を調査している。問題のあるサブレdditは、将来的なポリシー違反を予測可能にする明確な初期行動パターンを示しており、タイムリーな人間による監視介入を可能にしている。

ABSTRACT

Reddit has found its communities playing a prominent role in originating and propagating problematic socio-political discourse. Reddit administrators have generally struggled to prevent or contain such discourse for several reasons including: (1) the inability for a handful of human administrators to track and react to millions of posts and comments per day and (2) fear of backlash as a consequence of administrative decisions to ban or quarantine hateful communities. Consequently, administrative actions (community bans and quarantines) are often taken only when problematic discourse within a community spills over into the real world with serious consequences. In this paper, we investigate the feasibility of deploying tools to proactively identify problematic communities on Reddit. Proactive identification strategies show promise for three reasons: (1) they have potential to reduce the manual efforts required to track communities for problematic content, (2) they give administrators a scientific rationale to back their decisions and interventions, and (3) they facilitate early and more nuanced interventions (than banning or quarantining) to mitigate problematic discourse.

研究の動機と目的

• 自動化されたツールを用いて、問題のあるRedditコミュニティのプロアクティブな同定が可能かどうかを調査すること。
• サブレdditの進化的ダイナミクスを理解し、問題行動の予測要因を同定すること。
• 有害なディス course が広がる前に、コンテンツポリシー違反を起こす可能性の高いコミュニティを特定できる説明可能な機械学習モデルを開発すること。
• このようなモデルが継続的学習設定において実世界で適用可能かどうかを評価すること。
• データドリブンでタイムリーかつ正当化可能な意思決定を支援する人間管理者のための支援を提供すること。

提案手法

• 時間経過に伴う言語的特徴（例：語彙の変化）、ユーザ参加のダイナミクス、構造的指標を用いてサブレdditの進化を追跡した。
• 構造的、言語的、コミュニティレベル、ユーザ関連の属性の4つのカテゴリーにわたり、特徴を収集および設計した。
• 将来的に問題のあるコミュニティと分類されるかどうかを予測する説明可能な機械学習モデル（例：LIME や SHAP を用いたもの）を訓練した。
• 歴史的データを用いてモデルのパフォーマンスを検証し、実世界の展開を模倣する継続的学習設定における汎化性能を評価した。
• モデルの解釈可能性を統合し、ドメインエキスパートに基づいた予測の検査および上書きを可能にした。
• 長期的な安定性と予測精度を評価するために、実世界のシナリオにモデルを展開した。

Figure 1: Distribution of RBO distances of vocabulary/user vectors between consecutive months for subreddits in $\mathfrak{D}_{A}$ , $\mathfrak{D}_{C}$ , and $\mathfrak{D}_{I}$ .

実験結果

リサーチクエスチョン

• RQ1 サブレdditは時間経過とともに安定的であるか、それとも変化を続けるのか。継続的監視が求められるか。
• RQ2 サブレdditの初期段階における進化的パターンは、将来的なポリシー違反を十分な精度で予測できるか。
• RQ3 言語的、構造的、コミュニティレベル、ユーザレベルの特徴のうち、どの組み合わせが問題のあるサブレdditの進化を最もよく予測できるか。
• RQ4 説明可能な機械学習モデルは、人間管理者によるプロアクティブモデレーションをどの程度効果的に支援できるか。
• RQ5 このようなツールは、実世界の継続的学習環境において持続可能に展開可能か。

主な発見

• 語彙や活発なユーザベースの継続的変化が示されており、サブレdditは安定に収束しないことが判明し、継続的監視の必要性が裏付けられた。
• 問題のあるサブレdditは、初期段階において明確な進化的パターンを示しており、機械学習を用いて予測可能であることが判明した。
• 提示された説明可能な機械学習モデルは、将来的なポリシー違反の予測において高い正確性を達成し、リスクを負うコミュニティの早期同定を可能にした。
• モデルの解釈可能性により、分類意思決定の背後にある要因を管理者が理解できる行動可能なインサイトが得られ、意思決定を支援した。
• 継続的学習のデプロイメント環境において、本システムは頑健なパフォーマンスを示し、実世界での利用可能性が確認された。
• プロアクティブで機械支援の同定は、反応的禁止に依存するのを減らし、より洗練され、タイムリーで説得力のあるモデレーション行動を可能にした。