[논문 리뷰] In a World That Counts: Clustering and Detecting Fake Social Engagement at Scale

Yixuan Li, Óscar Martínez외 3명|arXiv (Cornell University)|2015. 12. 17.

Spam and Phishing Detection참고 문헌 58인용 수 39

한 줄 요약

이 논문은 사용자 참여 행동을 시간적 그래프로 모델링하고 국소 스펙트럴 클러스터링을 사용하여 알려진 스팸 사용자 시드를 확장함으로써 유튜브에서 위조된 사회적 참여를 탐지하기 위한 확장 가능한 준지도 학습 방법인 Leas를 제안한다. Leas는 수작업 검토 정확도 98%를 달성하고 기존 최고 수준의 방법인 CopyCatch보다 10배 빠르게 작동하며, 현재 Google에서 위조 댓글을 대규모로 탐지하고 제거하는 데 실제로 활용 중이다.

ABSTRACT

How can web services that depend on user generated content discern fake social engagement activities by spammers from legitimate ones? In this paper, we focus on the social site of YouTube and the problem of identifying bad actors posting inorganic contents and inflating the count of social engagement metrics. We propose an effective method, Leas (Local Expansion at Scale), and show how the fake engagement activities on YouTube can be tracked over time by analyzing the temporal graph based on the engagement behavior pattern between users and YouTube videos. With the domain knowledge of spammer seeds, we formulate and tackle the problem in a semi-supervised manner --- with the objective of searching for individuals that have similar pattern of behavior as the known seeds --- based on a graph diffusion process via local spectral subspace. We offer a fast, scalable MapReduce deployment adapted from the localized spectral clustering algorithm. We demonstrate the effectiveness of our deployment at Google by achieving an manual review accuracy of 98% on YouTube Comments graph in practice. Comparing with the state-of-the-art algorithm CopyCatch, Leas achieves 10 times faster running time. Leas is actively in use at Google, searching for daily deceptive practices on YouTube's engagement graph spanning over a billion users.

연구 동기 및 목표

• 기존 텍스트 기반 스팸 필터가 실패하는 경우, 눈에 띄지 않거나 비현실적인 댓글(예: '좋아요', '응')과 같은 미묘한, 비정상적인 참여 행동을 탐지하기 위해.
• 자동화 또는 마켓플레이스를 통해 인위적으로 부풀려진 조직적인 스팸 캠페인을 식별하는 데 도전하는 것.
• 10억 명이 넘는 사용자로 구성된 유튜브의 거대한 그래프에 대해 높은 정밀도와 낮은 거짓 양성률을 유지하면서도 확장 가능한 탐지 기능을 제공하는 것.
• 그래프 확산을 통해 시드 확장을 활용해 기존 악용 탐지 시스템의 범위를 자동으로 확장하는 것.
• 실시간으로 위장된 참여 패턴을 탐지할 수 있도록 MapReduce를 통해 배포 가능한 생산 준비 완료된 분산 솔루션을 제공하는 것.

제안 방법

• 노드는 사용자, 엣지는 짧은 시간 창 내에 동일한 비디오에 대해 참여한 사건(예: 같은 비디오에 댓글을 달한 경우)을 나타내는 시간적 참여 그래프를 구성한다.
• 기존 알려진 스팸 사용자 시드를 국소 스펙트럴 클러스터링의 초기 지점으로 사용하여 유사한 행동 패턴을 보이는 의심스러운 사용자 클러스터를 식별한다.
• 시드 노드 주변의 이웃 영역에서만 클러스터 확장을 우선시하는 국소 스펙트럴 확산 과정을 적용하여 효율성과 관련성을 향상시킨다.
• 대규모 그래프(10억 노드)에서 분산 처리가 가능하도록 국소 스펙트럴 클러스터링 알고리즘을 MapReduce에 적응시킨다.
• 공동 참여 강도, 월간 활동량, 댓글 유사도와 같은 행동 특징을 활용하여 그래프 구조를 정의하고 확산를 이끌어내는 데 사용한다.
• 신뢰도 임계값 기반으로 참여 수준 제거(부드러운 처벌)와 계정 수준 정지(엄격한 처벌)를 병행하는 듌내리 퇴출 기반의 이중 수준의 제거 전략을 도입한다.

실험 결과

연구 질문

• RQ1 기존 텍스트 기반 방법이 실패하는 경우, 반복적이거나 내용이 적은 댓글(예: '좋아요', '응')과 같은 눈에 띄지 않는 위조 사회적 참여는 어떻게 탐지할 수 있는가?
• RQ2 기존 알려진 스팸 사용자 시드를 활용한 준지도 학습 접근 방식이 유튜브의 댓글 네트워크와 같은 대규모 실세계 사회적 그래프에 효과적으로 확장 가능한가?
• RQ3 국소 스펙트럴 클러스터링 방법이 분산 환경에서 100억 규모의 그래프에 적용되었을 때 성능과 확장성은 어떠한가?
• RQ4 기존 최고 수준의 방법인 CopyCatch와 비교해 그래프 기반 탐지 방법의 정확도와 속도는 어떻게 되는가?
• RQ5 공동 참여 강도와 시간적 동기화와 같은 행동 패턴은 얼마나 조직적인 스팸 캠페인을 드러내는가?

주요 결과

• Leas는 위조 유튜브 댓글 탐지에서 수작업 검토 정확도 98%를 달성하여 악성 계정 식별의 높은 정밀도를 입증했다.
• Leas는 '애완동물을 사랑해요' 또는 '응'과 같은 동일한 댓글을 여러 비디오에 반복적으로 게재하는 15개의 계정을 탐지하여 조직적인 스팸 클러스터 존재를 확인했다.
• Leas는 최고 수준의 CopyCatch 알고리즘보다 평균적으로 10배 더 빠르게 작동하여 대규모 생산 환경에서의 매일 사용에 적합했다.
• 알고리즘이 Tier II 계정(더 미묘하고 명백한 스팸성 행동이 덜한 계정)까지 성공적으로 식별하여 진화하는 스팸 패tern을 탐지할 수 있음을 확인했다.
• 2015년 8월 6일부터 13일까지 유튜브 댓글 그래프에 Leas를 배포한 결과, 일일 탐지 수량이 일관되게 유지되었으며, 주로 참여 수준 제거가 적용되어 안정적이고 확장 가능한 운영임을 나타냈다.
• 이 방법은 알려진 시드를 초월해 전체적인 클러스터를 효과적으로 확장하여 내부 밀도가 높은(0.7 이상) 공범 계정 집단을 드러내어 클러스터 확장 전략의 타당성을 입증했다.