[논문 리뷰] SybilBlind: Detecting Fake Users in Online Social Networks without Manual Labels

Binghui Wang, Le Zhang외 1명|arXiv (Cornell University)|2018. 06. 13.

Spam and Phishing Detection참고 문헌 2인용 수 8

한 줄 요약

SybilBlind는 수동으로 레이블링된 학습 데이터가 필요 없이 온라인 소셜 네트워크에서 가짜 사용자를 탐지하는 구조 기반의 새로운 Sybil 탐지 프레임워크이다. 노이즈가 있는 레이블을 가진 다수의 무작위 샘플링 시도와 허모필리-엔트로피 집계기법을 사용하여 낮은 노이즈를 가진 시도를 식별함으로써 실제 트위터 데이터셋에서 AUC 0.98를 달성하며, 수동 레이블링이 필요한 기존 방법들보다 뛰어난 성능을 보인다. 이 성능을 달성하기 위해 레이블이 부여된 노드의 약 2.8%만으로도 충분하다.

ABSTRACT

Detecting fake users (also called Sybils) in online social networks is a basic security research problem. State-of-the-art approaches rely on a large amount of manually labeled users as a training set. These approaches suffer from three key limitations: 1) it is time-consuming and costly to manually label a large training set, 2) they cannot detect new Sybils in a timely fashion, and 3) they are vulnerable to Sybil attacks that leverage information of the training set. In this work, we propose SybilBlind, a structure-based Sybil detection framework that does not rely on a manually labeled training set. SybilBlind works under the same threat model as state-of-the-art structure-based methods. We demonstrate the effectiveness of SybilBlind using 1) a social network with synthetic Sybils and 2) two Twitter datasets with real Sybils. For instance, SybilBlind achieves an AUC of 0.98 on a Twitter dataset.

연구 동기 및 목표

• 비용이 많이 들고 시간이 오래 걸리며 개인정보 침해를 동반하는 수동 레이블링 학습 데이터에 의존하는 최신 Sybil 탐지 방법의 한계를 해결하기 위해.
• 모든 수동으로 레이블링된 사용자에 접근할 수 없는 상황에서도 Sybil을 탐지하면서, 악성 학습 세트 추론에 대해 강건한 프레임워크를 개발하기 위해.
• 이미 존재하는 공격이 억제된 후에 나타나는 새로운 Sybil 공격을 신속하게 탐지할 수 있도록 하기 위해.
• 학습 세트에서 레이블 노이즈가 존재하더라도 고품질의 샘플링 시도를 식별할 수 있는 강력한 집계 메커니즘을 설계하기 위해.

제안 방법

• 소셜 네트워크에서 사용자 부분집합을 무작위로 샘플링하고, 이들에게 랜덤 레이블(정상 또는 Sybil)을 할당하여 실제 수동 레이블링 없이 노이즈가 있는 학습 세트를 생성한다.
• 각 샘플링된 노이즈가 있는 학습 세트에 최신 Sybil 탐지 방법(예: SybilSCAR)을 적용하여, 해당 시도에서 모든 사용자에 대해 Sybil 확률 점수를 생성한다.
• 허모필리와 일방적 엔트로피라는 두 가지 지표를 사용하여 레이블 노이즈가 낮고 Sybil 탐지가 정확한 샘플링 시도를 식별하는 새로운 집계기법을 설계한다.
• 허모필리-엔트로피 지표에 의해 고품질로 식별된 시도에서만 Sybil 확률을 집계하여 각 사용자에 대한 최종 신뢰할 수 있는 탐지 점수를 도출한다.
• 다양한 독립적인 시도를 반복하여 탐지의 강건성과 정확도를 향상시킨다.
• 실제 데이터셋(실제 Sybil이 포함된 트위터 포함)과 합성 네트워크에 프레임워크를 적용하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 수동으로 레이블링된 학습 데이터가 전혀 없이도 높은 정확도를 유지하면서 Sybil 탐지를 달성할 수 있는가?
• RQ2 학습 레이블이 무작위로 할당되어 본질적으로 노이즈가 많은 상황에서 신뢰할 수 있는 탐지 모델을 어떻게 구성할 수 있는가?
• RQ3 기본 진실 데이터가 없을 경우, 레이블 노이즈가 낮은 고품질의 샘플링 시도를 효과적으로 식별할 수 있는 집계 전략은 무엇인가?
• RQ4 수동 레이블링이 필요한 보조 방법과 비교했을 때, SybilBlind의 성능은 레이블링 비용과 탐지 속도 측면에서 어떻게 다른가?
• RQ5 다양한 Sybil 비율과 네트워크 구조가 제안된 프레임워크의 탐지 정확도에 미치는 영향은 무엇인가?

주요 결과

• SybilBlind는 8,000명의 사용자와 68,000개의 간선을 가진 실제 트위터 데이터셋에서 수동 레이블링 없이도 AUC 0.98의 높은 탐지 정확도를 달성한다.
• 4,200만 명의 사용자와 12억 개의 간선을 가진 대규모 트위터 데이터셋에서도 SybilBlind는 강력한 성능을 유지하며, 확장성의 가능성을 확인한다.
• 허모필리-엔트로피 집계기법은 평균, 최소, 최대 집계기법보다 뚜렷이 뛰어나며, 평균 집계기법은 거의 랜덤 추측 수준에 머문다.
• SybilBlind는 Sybil 비율이 50% 이하일 경우에도 정확하게 Sybil을 탐지할 수 있으며, 대부분의 실제 시나리오에서 Sybil 사용자가 정상 사용자보다 적기 때문에 이 조건은 잘 충족된다.
• SybilSCAR는 작은 트위터 데이터셋에서는 약 25%의 노드 레이블링이, 큰 트위터 데이터셋에서는 2.8%의 노드 레이블링이 SybilBlind의 AUC 성능을 따라잡기 위해 필요하다. 이는 제안된 방법의 비용 우수성을 강력히 시사한다.
• 적절한 샘플링 크기와 시도 수가 확보되면 프레임워크의 성능은 안정화되며, AUC는 이들 매개변수의 증가에 따라 증가하다가 포화 상태에 도달한다.