[논문 리뷰] Smoke Screener or Straight Shooter: Detecting Elite Sybil Attacks in User-Review Social Networks

Haizhong Zheng, Minhui Xue외 5명|arXiv (Cornell University)|2017. 09. 20.

Spam and Phishing Detection참고 문헌 23인용 수 7

한 줄 요약

이 논문은 Dianping과 같은 사용자 리뷰 소셜 네트워크(URSN)에서 진정한 사용자를 모방해 고품질이며 시간에 따라 분산된 가짜 리뷰를 게재하는 엘리트 시비르 사용자를 식별하기 위한 세 단계 검출 시스템인 ElsieDet을 제안한다. 공동 작업을 통해 시비르 캠페인을 탐지하고, 캠페인 윈도우를 식별하며, 새로운 '시비르성' 지표를 사용함으로써 ElsieDet는 기존 검출 방법으로는 회피하는 엘리트 시비르 사용자를 높은 정확도로 드러낸다.

ABSTRACT

Popular User-Review Social Networks (URSNs)---such as Dianping, Yelp, and Amazon---are often the targets of reputation attacks in which fake reviews are posted in order to boost or diminish the ratings of listed products and services. These attacks often emanate from a collection of accounts, called Sybils, which are collectively managed by a group of real users. A new advanced scheme, which we term elite Sybil attacks, recruits organically highly-rated accounts to generate seemingly-trustworthy and realistic-looking reviews. These elite Sybil accounts taken together form a large-scale sparsely-knit Sybil network for which existing Sybil fake-review defense systems are unlikely to succeed. In this paper, we conduct the first study to define, characterize, and detect elite Sybil attacks. We show that contemporary elite Sybil attacks have a hybrid architecture, with the first tier recruiting elite Sybil workers and distributing tasks by Sybil organizers, and with the second tier posting fake reviews for profit by elite Sybil workers. We design ElsieDet, a three-stage Sybil detection scheme, which first separates out suspicious groups of users, then identifies the campaign windows, and finally identifies elite Sybil users participating in the campaigns. We perform a large-scale empirical study on ten million reviews from Dianping, by far the most popular URSN service in China. Our results show that reviews from elite Sybil users are more spread out temporally, craft more convincing reviews, and have higher filter bypass rates. We also measure the impact of Sybil campaigns on various industries (such as cinemas, hotels, restaurants) as well as chain stores, and demonstrate that monitoring elite Sybil users over time can provide valuable early alerts against Sybil campaigns.

연구 동기 및 목표

• 사용자 리뷰 소셜 네트워크(URSN)에서 높은 평점을 받는 사용자가 위장 리뷰를 게재하도록 악용되는 엘리트 시비르 공격의 증가하는 위협에 대응하기 위해.
• 기존의 시비르 검출 방법이 사회적 그래프의 연결성이나 집합적 행동에 의존하는 데서 비롯되는 한계를 극복하기 위해, 밀도가 낮은 URSN에서 효과적으로 작동하도록 하기 위해.
• 기존의 기능 기반 및 클러스터링 기반 방어 수단을 피할 수 있도록 현실적인 시간 패턴을 갖춘 설득력 있는 리뷰를 작성하는 엘리트 시비르 사용자를 탐지하기 위해.
• 일반적인 손상 이전에 광범위한 피해를 방지하기 위해 시간이 지남에 따라 엘리트 시비르 사용자를 모니터링함으로써 시비르 캠페인의 조기 탐지를 가능하게 하기 위해.
• Dianping 외에도 Yelp나 Amazon과 같은 URSN에 적용 가능한 확장성 있고 독립적인 시스템을 설계하기 위해.

제안 방법

• 제1단계: 공동 캠페인 기간 동안 협업적 게재 행동에 기반해 사용자를 클러스터링함으로써 의심스러운 시비르 커뮤니티를 탐지한다.
• 제2단계: 새로운 캠페인 탐지 알고리즘을 사용해 시비르 캠페인의 시작 및 종료 시간을 식별하고, 비캠페인 리뷰를 걸러낸다.
• 제3단계: 캠페인 참여 빈도와 시간적 산산이 흩어진 정도에 기반해 각 사용자에 대한 '시비르성' 점수를 계산하고, 엘리트 시비르 사용자를 분류한다.
• 1000만 건의 리뷰 데이터셋을 활용해 실증 평가 및 모델 훈련을 수행한다 (Dianping, 2014년 1월 ~ 2016년 6월).
• 행동 클러스터링, 시간적 패턴 분석, 사용자 수준의 점수 계산을 융합한 하이브리드 검출 접근 방식을 활용해 검출 정확도를 향상시킨다.
• 맥락적 특징이나 NLP 모델에 의존하지 않아 AI 생성 가짜 리뷰에 대해 강건한 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 엘리트 시비르 사용자와 진정한 사용자 간의 리뷰 게재 패턴과 콘텐츠 품질에서 어떤 차이가 있는가?
• RQ2 엘리트 시비르 캠페인은 URSN에서 어떤 구조적 및 행동적 특성을 갖는가?
• RQ3 세 단계 검출 시스템이 기존의 그래프 기반 및 기능 기반 방어 수단을 피하는 엘리트 시비르 사용자를 효과적으로 식별할 수 있는가?
• RQ4 시간이 지남에 따라 엘리트 시비르 사용자를 모니터링하는 것이 시비르 캠페인의 조기 경고를 제공하는 데 얼마나 효과적인가?
• RQ5 엘리트 시비르 공격이 극장, 호텔, 레스토랑과 같은 산업 분야의 평점에 얼마나 심각하게 왜곡을 초래하는가?

주요 결과

• 엘리트 시비르 사용자는 진정한 사용자보다 더 시간에 따라 분산된 리뷰를 게재함으로써 탐지에서 벗어나기 위해 노력한다.
• 엘리트 시비르 사용자가 작성한 리뷰는 더 잘 다듬어져 있고 설득력이 있어, 필터 통과 비율이 높다.
• 대부분의 시비르 캠페인은 활동 시작 후 첫 두 주 이내에 엘리트 시비르 사용자 모니터링을 통해 탐지할 수 있다.
• 시비르성 지표는 진정한 사용자 행동을 모방하는 사용자라도 높은 정밀도로 엘리트 시비르 사용자를 정확히 식별한다.
• 엘리트 시비르 공격은 극장, 호텔, 레스토랑 분야에서 평점에 심각한 왜곡을 초래하며, 체인 스토어는 특히 취약하다.
• ElsieDet는 Dianping의 실제 1000만 건의 리뷰 데이터셋에서 매우 높은 효과성과 확장성을 입증했다.