[논문 리뷰] Are Proactive Interventions for Reddit Communities Feasible?

Hussam Habib, Maaz Bin Musa외 2명|arXiv (Cornell University)|2021. 11. 22.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 서브레딧 커뮤니티의 문제적 성향을 기계 학습 모델을 활용한 설명 가능한 기계 학습 기반으로 사전에 탐지할 수 있는지의 가능성을 조사한다. 진화적 특성에 기반한 모델을 훈련시켜 문제적 서브레딧 커뮤니티가 초기 단계에서 특별한 행동 패tern을 보임을 입증하며, 향후 정책 위반을 정확하게 예측하고 인간이 개입하는 조치를 조기에 시행할 수 있음을 보여준다.

ABSTRACT

Reddit has found its communities playing a prominent role in originating and propagating problematic socio-political discourse. Reddit administrators have generally struggled to prevent or contain such discourse for several reasons including: (1) the inability for a handful of human administrators to track and react to millions of posts and comments per day and (2) fear of backlash as a consequence of administrative decisions to ban or quarantine hateful communities. Consequently, administrative actions (community bans and quarantines) are often taken only when problematic discourse within a community spills over into the real world with serious consequences. In this paper, we investigate the feasibility of deploying tools to proactively identify problematic communities on Reddit. Proactive identification strategies show promise for three reasons: (1) they have potential to reduce the manual efforts required to track communities for problematic content, (2) they give administrators a scientific rationale to back their decisions and interventions, and (3) they facilitate early and more nuanced interventions (than banning or quarantining) to mitigate problematic discourse.

연구 동기 및 목표

• 자동화된 도구를 활용해 문제적 레딧 커뮤니티를 사전에 식별하는 것이 가능한지 조사하는 것.
• 서브레딧의 진화적 동역학을 이해하고 문제적 행동의 예측 요소를 규명하는 것.
• 유해한 논의가 확산되기 이전에 정책 위반 가능성이 높은 커뮤니티를 식별할 수 있도록 설명 가능한 기계 학습 모델을 개발하는 것.
• 이러한 모델이 지속 학습 환경에서 실제 세계 적용 가능성에 대해 평가하는 것.
• 데이터 기반, 적시, 정당화 가능한 조치 결정을 내릴 수 있도록 인간 관리자에게 지원하는 것.

제안 방법

• 시간에 따라 언어적 특성(예: 어휘 변화), 사용자 참여 동역학, 구조적 지표를 사용해 서브레딧의 진화를 추적하는 방식.
• 구조적, 언어적, 커뮤니티 수준, 사용자 관련 특성의 네 가지 범주에 걸쳐 데이터를 수집하고 특징을 엔지니어링하는 방식.
• 서브레딧이 향후 문제적 커뮤니티로 분류될지를 예측하기 위해 설명 가능한 기계 학습 모델(LIME 또는 SHAP 기반 등)을 훈련하는 방식.
• 역사적 데이터를 사용해 모델 성능을 검증하고, 실제 배포 환경을 모방하는 지속 학습 설정에서 일반화 능력을 평가하는 방식.
• 모델의 해석 가능성을 통합하여 관리자가 도메인 전문 지식에 기반해 예측 결과를 검토하고 수정할 수 있도록 하는 방식.
• 장기적인 안정성과 예측 정확도를 평가하기 위해 실제 환경에서 모델을 구현하는 방식.

Figure 1: Distribution of RBO distances of vocabulary/user vectors between consecutive months for subreddits in $\mathfrak{D}_{A}$ , $\mathfrak{D}_{C}$ , and $\mathfrak{D}_{I}$ .

실험 결과

연구 질문

• RQ1 서브레딧은 시간이 지남에 따라 안정적일까, 아니면 변화를 겪을까? 이는 지속적인 모니터링이 필요한가?
• RQ2 서브레딧의 초기 단계에서의 진화 패턴이 충분한 정확도로 향후 정책 위반을 예측할 수 있는가?
• RQ3 언어적, 구조적, 커뮤니티 수준, 사용자 수준의 특성 조합 중 어떤 조합이 문제적 서브레딧 진화를 가장 잘 예측하는가?
• RQ4 설명 가능한 기계 학습 모델이 인간 관리자에게 사전 조치 모더레이션을 지원하는 데 얼마나 효과적인가?
• RQ5 이러한 도구는 실제 세계의 지속 학습 환경에서 지속 가능하게 구현될 수 있는가?

주요 결과

• 서브레딧은 어휘와 활동 사용자 기반의 지속적인 변화를 보이며 안정화되지 않음을 확인하여 지속적인 모니터링의 필요성을 입증한다.
• 문제적 서브레딧은 초기 수명 주기 동안 특별한 진화 패턴을 보이며 기계 학습을 통해 예측 가능함을 입증한다.
• 제안된 설명 가능한 기계 학습 모델은 향후 정책 위반을 높은 정확도로 예측하여 위험한 커뮤니티를 조기에 식별할 수 있었다.
• 모델의 해석 가능성은 분류 결정의 주요 원인을 관리자에게 액션 가능한 통찰을 제공하여 정보 기반의 개입을 지원했다.
• 지속 학습 환경에서의 구현 시스템은 뛰어난 성능을 보였으며, 실제 세계 적용 가능성에 대한 타당성을 확인했다.
• 사전 조치 기반, 기계 학습을 활용한 식별 방식은 반응형 금지에 의존하는 것보다 줄어들며 더 세밀하고 적시적이며 정당화 가능한 모더레이션 조치를 가능하게 했다.