[논문 리뷰] Antisocial Behavior in Online Discussion Communities

Justin Cheng, Cristian Danescu-Niculescu-Mizil외 1명|arXiv (Cornell University)|2015. 04. 02.

Hate Speech and Cyberbullying Detection참고 문헌 19인용 수 171

한 줄 요약

이 논문은 CNN, 브라이터티브, IGN에서 결국 퇴출당한 사용자들을 분석하여 대규모 온라인 토론 커뮤니티에서의 반사회적 행동을 특성화한다. 사용자 활동과 게시물 품질의 종단적 분석을 통해 향후 퇴출을 예측할 수 있는 초기 행동 패턴—예를 들어 낮은 독해도, 소수의 스레드에서의 높은 참여도, 시간에 따라 악화되는 게시물 품질—을 규명하였으며, 이는 교차 커뮤니티 탐지에서 최대 AUC 0.84를 달성하였다.

ABSTRACT

User contributions in the form of posts, comments, and votes are essential to the success of online communities. However, allowing user participation also invites undesirable behavior such as trolling. In this paper, we characterize antisocial behavior in three large online discussion communities by analyzing users who were banned from these communities. We find that such users tend to concentrate their efforts in a small number of threads, are more likely to post irrelevantly, and are more successful at garnering responses from other users. Studying the evolution of these users from the moment they join a community up to when they get banned, we find that not only do they write worse than other users over time, but they also become increasingly less tolerated by the community. Further, we discover that antisocial behavior is exacerbated when community feedback is overly harsh. Our analysis also reveals distinct groups of users with different levels of antisocial behavior that can change over time. We use these insights to identify antisocial users early on, a task of high practical importance to community maintainers.

연구 동기 및 목표

• 온라인 토론 커뮤니티에서 결국 퇴출당하는 사용자의 행동적 변화 과정을 이해하는 것.
• 반사회적 행동이 시간이 지남에 따라 나타나는지, 아니면 초기부터 존재하는지 조사하는 것.
• 커뮤니티 피드백(예: 게시물 삭제)이 반사회적 사용자의 행동 궤적에 어떤 영향을 미치는지 고려하는 것.
• 종단적 행동 신호를 기반으로 반사회적 사용자를 조기에 탐지하는 시스템을 개발하는 것.
• 삭제 빈도 패턴과 참여 방식을 기반으로 반사회적 사용자 유형을 제안하는 것.

제안 방법

• CNN, 브라이터티브, IGN에서 18개월 동안 170만 명의 사용자 활동에 대한 후향적 종단적 분석을 수행한다.
• 퇴출 여부를 기준으로 사용자를 미래 퇴출자(FBUs)와 영구 퇴출되지 않은 사용자(NBUs)로 분류한다.
• 독해도 지표, 언어적 특징(예: 욕설, 긍정성) 및 다른 사용자 게시물과의 유사도를 측정하여 게시물 품질을 평가한다.
• 스레드 집중도와 반응률을 분석하여 높은 참여도이지만 낮은 품질의 사용자를 식별한다.
• 조각별 선형 모델을 적용하여 게시물 품질과 커뮤니티의 관용 수준 변화를 시간에 따라 추적한다.
• 삭제 빈도, 언어적 패턴 등의 행동 특징을 기반으로 향후 퇴출을 예측하는 지도 학습 분류기를 훈련하고, 교차 도메인 일반화 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 반사회적 사용자는 시간이 지남에 따라 행동이 악화되는가, 아니면 커뮤니티 생활 초반부터 이질적인 행동이 존재하는가?
• RQ2 특히 게시물 삭제와 같은 커뮤니티 피드백이 반사회적 행동의 진화에 어떤 영향을 미치는가?
• RQ3 행동적 및 언어적 신호를 이용해 반사회적 사용자를 커뮤니티 생활 초반에 신뢰성 있게 식별할 수 있는가?
• RQ4 반사회적 사용자 유형은 서로 다른 행동 패턴을 보이며, 참여 방식과 모더레이션 반응에서 어떻게 다를 수 있는가?
• RQ5 한 커뮤니티에서 학습한 모델이 다른 커뮤니티에서 반사회적 사용자를 탐지하는 데 얼마나 일반화 가능한가?

주요 결과

• FBUs는 NBUs보다 훨씬 낮은 독해도를 보이며, 더 많은 욕설을 사용하고, 다른 사용자 기여와의 유사도가 낮다.
• FBUs는 더 적은 스레드에 집중적으로 활동하며, 평균 사용자보다 더 많은 답글을 받는다. 이는 낮은 품질임에도 불구하고 높은 참여도를 보임을 시사한다.
• FBUs의 게시물 품질은 시간이 지남에 따라 악화되고, 커뮤니티는 점점 더 관용이 줄어들며, 품질을 보정한 후에도 FBUs의 게시물은 더 높은 삭제율을 보인다.
• 반사회적 사용자 유형 분류에서는 두 그룹이 드러났다: 소수의 스레드에서 집중적으로 게시하는 고삭제율(Hi-Del) 사용자와, 더 많은 토론에 분산하여 게시하는 저삭제율(Lo-Del) 사용자.
• 행동적 및 언어적 특징을 기반으로 훈련한 분류기는 교차 커뮤니티 탐지에서 평균 AUC 0.74를 달성하였으며, Lo-Del 사용자에 대해 최적화한 경우 재현율(recall)은 0.83에 이르렀다.
• 교차 도메인 모델은 잘 일반화된다: 브라이터티브에서 훈련한 분류기는 CNN에서 AUC 0.76, IGN에서 AUC 0.74를 기록했으며, bag-of-words 모델(평균 AUC 0.58)을 능가했다.