[논문 리뷰] TrollSpot: Detecting misbehavior in commenting platforms

Tai Ching Li, Joobin Gharibshah외 2명|arXiv (Cornell University)|2018. 06. 06.

Spam and Phishing Detection참고 문헌 15인용 수 7

한 줄 요약

TrollSpot는 73개의 다차원적 특징을 사용하여 댓글 플랫폼에서 악성 사용자(스팸러, 토롤러, 열광자)를 탐지하고 세분화된 분류를 위한 이중 단계, 해석 가능한 분류 프레임워크를 제안한다. 700만 건의 Disqus 댓글을 대상으로 평가한 결과, 악성 행위 탐지에 대해 AUC 0.904를 기록했고, 역할 분류에서는 총 정확도 80.8%를 달성했으며, 잠재적 행동 분석을 통해 일일 시간대 및 언어적 패턴이 악성 행위와 관련이 있음을 밝혀냈다.

ABSTRACT

Commenting platforms, such as Disqus, have emerged as a major online communication platform with millions of users and posts. Their popularity has also attracted parasitic and malicious behav- iors, such as trolling and spamming. There has been relatively little research on modeling and safeguarding these platforms. As our key contribution, we develop a systematic approach to detect malicious users on commenting platforms focusing on having: (a) interpretable, and (b) fine-grained classification of malice. Our work has two key novelties: (a) we propose two classifications methods, with one following a two stage approach, which first maps observ- able features to behaviors and then maps these behaviors to user roles, and (b) we use a comprehensive set of 73 features that span four dimensions of information. We use 7 million comments during a 9 month period, and we show that our classification methods can distinguish between benign, and malicious roles (spammers, trollers, and fanatics) with a 0.904 AUC. Our work is a solid step to- wards ensuring that commenting platforms are a safe and pleasant medium for the exchange of ideas.

연구 동기 및 목표

• 댓글 플랫폼에서 악성 행동을 체계적이고 해석 가능한 방법으로 탐지하고 분류하기 위한 방법 개발.
• 스팸러, 토롤러, 열광자와 같은 악성 사용자 역할을 세분화하여 이중 분류를 넘어서는 것.
• 사용자 행동을 모델링하기 위해 사회적, 참여도, 시간적, 언어적 차원을 아우르는 총 73개의 특징을 활용하는 것.
• 행동 중심의 해석 가능한 분류를 통해 플랫폼 관리자에게 실질적인 통찰을 제공하는 것.
• Disqus에서 확보한 대규모 실세계 데이터셋(9개월 동안 700만 건의 댓글 포함)을 기반으로 모델 평가.

제안 방법

• 관측 가능한 특징을 행동으로 매핑하는 비지도 학습을 먼저 수행하고, 이후 행동을 사용자 역할로 매핑하는 지도 학습을 수행하는 이중 단계 분류 접근 방식.
• 사회적 상호작용(사용자-사용자), 참여도(사용자-기사), 시간적(시간 및 활동 패턴), 언어적(대문자 사용, 길이 등 텍스트 특성) 4개 차원의 총 73개 특징 활용.
• 역할 분류에 Random Forest와 공통 클러스터링 기법을 활용하며, 행동 기반 특징 매핑을 통해 해석 가능성 유지.
• 사용자 패턴의 클러스터링을 통한 잠재적 행동 탐지로, 악성 행위와 관련된 시간대 및 텍스트적 특성 밝혀냄.
• 플랫폼 모더레이션 로그 기반으로 사용자를 4개 역할(정상, 스팸러, 토롤러, 열광자)로 지정.
• 실세계 데이터셋에서 AUC 및 정확도 지표를 사용해 평가하며, 행동 패턴의 통계적 검증 수행.

실험 결과

연구 질문

• RQ1 행동 기반 분류 시스템은 댓글 플랫폼에서 정상 사용자와 악성 사용자를 효과적으로 구분할 수 있는가?
• RQ2 제안된 이중 단계 방법은 기존 기준 대비 해석 가능성과 악성 사용자 역할 분류 정확도를 향상시킬 수 있는가?
• RQ3 시간적, 언어적, 사회적 특성 중 어떤 행동 패턴이 악성 행위를 하는 사용자와 정상 사용자를 구별하는가?
• RQ4 사용자의 활동 패턴과 텍스트적 특징은 스팸러, 토롤러 등의 악성 역할과 어떻게 관련이 있는가?
• RQ5 악성 사용자가 여러 웹사이트에서 동일한 행동을 보일 비율은 얼마나 되며, 활동 시간대와 악성 행위 간의 관련성은 어떠한가?

주요 결과

• 모델은 악성 사용자 탐지에 대해 AUC 0.904를 기록하여 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 4개 클래스(정상, 스팸러, 토롤러, 열광자)에 대해 세분화된 역할 분류에서 총 정확도 80.8%를 달성했다.
• 잠재적 행동 1(높은 대문자 사용, 긴 댓글, 7–13 UTC에 피크 활동)을 보이는 사용자의 87.9%가 악성 사용자였다.
• 13–26 UTC에 활동하는 사용자(잠재적 행동 3)는 평균보다 협업 정도와 댓글 수가 60% 높았으며, 이 중 20.7%가 악성 사용자였다.
• 활동 시간대가 늦어질수록 악성 사용자 비율이 증가했다: 13–26 UTC(20.7%), 3–8 UTC(31.3%), 6–14 UTC(56%), 이는 시간대와 악성 행위 간의 상관관계를 시사한다.
• 악성 사용자 중 15%만이 다수 웹사이트에서 동일한 행동을 보였으며, 대부분의 악성 활동이 플랫폼 특이적임을 시사한다.