[논문 리뷰] Mining User Comment Activity for Detecting Forum Spammers in YouTube

Ashish Sureka|arXiv (Cornell University)|2011. 03. 25.

Spam and Phishing Detection참고 문헌 11인용 수 47

한 줄 요약

이 논문은 반복적인 댓글, 짧은 시간 간격, 스팸 플래그 비율이 높은 패턴과 같은 사용자 댓글 활동 패턴을 분석하여 유튜브 댓글 스팸러를 탐지하는 규칙 기반 방법을 제안한다. 240명의 사용자와 13,000개의 댓글에 대한 실증 분석을 통해 PCHF > 70%, ATDC < 150초, VIDOVP > 60%와 같은 특징이 스팸 행동의 강력한 지표임을 입증하였으며, 행동 히ュ리스틱을 통해 신뢰할 수 있는 탐지 성능을 달성하였다.

ABSTRACT

Research shows that comment spamming (comments which are unsolicited, unrelated, abusive, hateful, commercial advertisements etc) in online discussion forums has become a common phenomenon in Web 2.0 applications and there is a strong need to counter or combat comment spamming. We present a method to automatically detect comment spammer in YouTube (largest and a popular video sharing website) forums. The proposed technique is based on mining comment activity log of a user and extracting patterns (such as time interval between subsequent comments, presence of exactly same comment across multiple unrelated videos) indicating spam behavior. We perform empirical analysis on data crawled from YouTube and demonstrate that the proposed method is effective for the task of comment spammer detection.

연구 동기 및 목표

• 사용자 댓글 활동 패턴이 유튜브 포럼의 스팸러 탐지에 신뢰할 수 있는 지표가 될 수 있는지 조사하는 것.
• 콘텐츠 기반 스팸 탐지의 한계를 보완하기 위해 사용 기반 행동 특징을 도입하는 것.
• 댓글 반복 및 시간 간격과 같은 행동 지표가 스팸러를 식별하는 데 효과적인지 실증적으로 검증하는 것.
• 메시지 수준의 스팸 탐지와는 다름없이 사용자 수준에서의 분류 접근법을 제안하는 것.

제안 방법

• 이 방법은 유튜브의 사용자 댓글 활동 로그를 분석하여 ATDC(댓글 간 평균 시간 간격), CRR(다양한 영상 간 댓글 반복률), PCHF(스팸 플래그 비율)와 같은 행동 특징을 추출한다.
• 유사한 내용의 댓글을 다수의 관련 없는 영상에 동시에 게재하는지를 확인하기 위해 VIDOVP(비디오 간 중복 비율)와 COMOVP(댓글 간 중복 비율)를 계산한다.
• 임계값을 기반으로 한 규칙 기반 분류기 정의: SPAMMER = (PCHF > 70) OR (ATDC < 150) OR (COMOVP > 0.60) OR (VIDOVP > 0.60).
• 유튜브의 hasSpamHint 플래그를 기준 진위 기준으로 사용하지만, 이는 완전하지 않으며 수동 검증을 보완으로 추가한다.
• 240명의 사용자와 13,000개가 넘는 댓글을 포함한 크롤링된 데이터셋을 대상으로 실증 평가를 수행하였으며, 다섯 개 이상의 댓글을 올린 사용자에 집중한다.
• ATDC 대 댓글 수 등 다양한 차원에서의 시각화 및 통계 분석을 통해 스팸러 집단을 식별한다.

실험 결과

연구 질문

• RQ1 반복 및 시간 간격과 같은 사용자 댓글 활동 패턴을 활용해 유튜브 포럼의 댓글 스팸러를 탐지할 수 있는가?
• RQ2 댓글 반복 및 시간 간격과 같은 사용 기반 특징이 스팸러와 정상 사용자를 구분하는 데 얼마나 효과적인가?
• RQ3 기존의 콘텐츠 기반 스팸 탐지 시스템이 스팸러를 얼마나 잘 포착하지 못하는가? 행동 분석은 이 격차를 메울 수 있는가?
• RQ4 유튜브에서 댓글 로그에 나타나는 어떤 행동 지표가 스팸 활동에 가장 강력한 지표가 되는가?

주요 결과

• 30개 이상의 댓글을 올리고 CRR 값이 0.7 이상인 사용자들은 모더레이터에 의해 80% 이상의 댓글이 스팸으로 표시되었으며, 이는 반복성이 강력한 스팸 지표임을 확인한다.
• 스팸러들은 종종 관련 없는 여러 영상에 동일한 댓글을 반복적으로 게재했으며, 확인된 사례에서 VIDOVP 값이 60%를 초과하였다.
• 스팸 댓글의 상당수는 hasSpamHint 플래그에 의해 표시되지 않았으며, 이는 수동 태깅을 보완하기 위해 자동화된 행동 기반 탐지가 필요함을 시사한다.
• 규칙 기반 분류기는 높은 탐지 정확도를 달성하였으며, ATDC 대 댓글 수 플롯의 오른쪽 아래 모서리 영역(150초 미만, 20개 이상의 댓글)에 위치한 사용자들이 강력한 스팸러 후보로 확인되었다.
• 수동 검토 결과, 모델이 식별한 사용자들은 'PLZ SUBSCRIBE'나 홍보 링크와 같은 동일하거나 유사한 스팸 콘텐츠를 반복적으로 게재하였다.
• 높은 PCHF(>70%), 낮은 ATDC(<150초), 그리고 높은 COMOVP/VIDOVP 값의 조합은 스팸러를 신뢰성 있게 식별하였으며, 이는 히ュ리스틱 모델의 타당성을 검증하였다.