[논문 리뷰] FLOCK: Combating Astroturfing on Livestreaming Platforms

Neil Shah|arXiv (Cornell University)|2016. 10. 04.

Spam and Phishing Detection인용 수 5

한 줄 요약

FLOCK는 라이브스트리밍 플랫폼에서 인공 시청자(뷰봇)를 탐지하기 위한 비지도, 확장 가능한 방법으로, 방송 행동을 모델링하고 동기화된 비정상적 시청을 식별한다. 공격자에 대비한 조건에서도 98% 이상의 정밀도로 봇이 포함된 방송을 탐지하고, 개별 봇 시청은 90% 이상의 정밀도/재현율을 달성한다.

ABSTRACT

Livestreaming platforms have become increasingly popular in recent years as a means of sharing and advertising creative content. Popular content streamers who attract large viewership to their live broadcasts can earn a living by means of ad revenue, donations and channel subscriptions. Unfortunately, this incentivized popularity has simultaneously resulted in incentive for fraudsters to provide services to astroturf, or artificially inflate viewership metrics by providing fake "live" views to customers. Our work provides a number of major contributions: (a) formulation: we are the first to introduce and characterize the viewbot fraud problem in livestreaming platforms, (b) methodology: we propose FLOCK, a principled and unsupervised method which efficiently and effectively identifies botted broadcasts and their constituent botted views, and (c) practicality: our approach achieves over 98% precision in identifying botted broadcasts and over 90% precision/recall against sizable synthetically generated viewbot attacks on a real-world livestreaming workload of over 16 million views and 92 thousand broadcasts. FLOCK successfully operates on larger datasets in practice and is regularly used at a large, undisclosed livestreaming corporation.

연구 동기 및 목표

• 라이브스트리밍 플랫폼에서 가짜 시청을 통해 인기 지표를 인위적으로 높이는 뷰봇 사기 문제를 공식적으로 정의하고 특성화하는 것.
• 지표 데이터 없이도 봇이 포함된 방송과 개별 봇 시청을 모두 탐지할 수 있는 확장 가능하고 비지도 방법을 개발하는 것.
• 변동하는 타이밍과 IP 제어를 통해 전통적인 밀집 서브그래프 또는 지도 학습 기반 탐지 방법을 회피하는 뷰봇을 탐지하는 과제를 해결하는 것.
• 실제 시청자 행동을 모방하기 위해 경험적 브라켓 분포에서 샘플링하는 공격자에 대비한 방법의 강건성을 평가하는 것.
• 실제 세계의 1,600만 건의 시청과 92,000건의 방송 데이터셋을 대상으로 실용적 효능을 입증하고, 높은 정밀도와 확장성을 보여주는 것.

제안 방법

• FLOCK은 각 방송을 시청 이벤트의 집합으로 모델링하며, 시작 시간과 지속 시간 비율을 사용해 비정상적인 행동 패턴을 탐지한다.
• 시청자 행동 예측과의 편차를 시각화한 뷰카운트 편차 플롯을 활용해 예상 행동에서 크게 벗어난 방송을 식별하고, 봇이 인플레이트한 것으로 의심되는 방송으로 표시한다.
• 표시된 방송에 대해 FLOCK은 시간적 동기화를 기반으로 뷰를 군집화하기 위해 X-means 클러스터링을 적용하여 봇 활동을 암시하는 일치 행동을 식별한다.
• 반복적 제거 히ュ리스틱(PRUNE-ITERATIVE)을 적용해 동기화된 행동을 보이는 뷰를 반복적으로 제거함으로써 의심되는 봇 시청 집합을 정제한다.
• 실제 방송 지속 시간과 시청자 행동의 경험적 분포를 활용해 '정상' 행동을 모델링함으로써 레이블이 없는 환경에서도 편차를 탐지할 수 있도록 한다.
• 공격자 모의 실험을 통해 강건성을 평가하며, 실제 브라켓 분포에서 샘플링하여 편차를 최소화하는 공격자 상황을 시뮬레이션하고, 이러한 공격에 대해 IP 비용이 증가하는 것을 입증한다.

실험 결과

연구 질문

• RQ1 라이브스트리밍 플랫폼에서 인공 시청(뷰봇)은 어떻게 공식적으로 정의되고, 진짜 시청자 행동과 어떻게 구별될 수 있는가?
• RQ2 레이블이 없는 조건에서도 봇이 인플레이트한 방송과 개별 봇 시청을 효과적으로 탐지할 수 있는 비지도, 확장 가능한 방법은 무엇인가?
• RQ3 공격자가 경험적 분포에서 샘플링하여 정상 행동을 모방하는 조건에서 FLOCK의 성능은 어떻게 되는가?
• RQ4 FLOCK의 탐지 메커니즘을 적용할 경우, 뷰봇 공격의 실질적 비용은 무엇인가, 특히 필요한 IP 주소 수 측면에서 어떻게 되는가?
• RQ5 FLOCK은 실세계의 수백만 건의 시청과 수천 건의 방송을 포함한 대규모 데이터셋에서 어떻게 확장되는가?

주요 결과

• FLOCK은 실세계의 1,600만 건의 시청과 92,000건의 방송 데이터셋에서 봇이 포함된 방송을 탐지할 때 98% 이상의 정밀도를 달성한다.
• 대규모 합성 뷰봇 공격 상황에서 FLOCK은 개별 봇 시청 탐지에 대해 90% 이상의 정밀도와 재현율을 확보한다.
• 공격자가 실제 브라켓 분포에서 샘플링하여 정상 행동을 모방하는 조건에서도 FLOCK은 뷰봇 공격에 필요한 IP 수를 기존의 단순 레이트 제한 대비 40% 증가시킨다.
• FLOCK은 시청 수에 따라 선형적으로 확장되며, 대규모 산업 워크로드에서 뛰어난 성능을 보인다.
• 동기화된 시청 행동 패턴, 예를 들어 전체 방송 기간 동안 지속되는 뷰와 같은 패턴을 성공적으로 식별하여 봇 활동의 특징을 파악한다.
• FLOCK의 결과는 사기성 스트리머를 표시하고, 의심스러운 IP를 제재하며, 유도된 서명을 통해 지도 학습 시스템을 지원하는 데 활용될 수 있다.