[논문 리뷰] HoloScope: Topology-and-Spike Aware Fraud Detection

Shenghua Liu, Bryan Hooi외 1명|arXiv (Cornell University)|2017. 05. 06.

Spam and Phishing Detection참고 문헌 16인용 수 6

한 줄 요약

HoloScope는 그래프 구조, 시간적 폭발/감소 패턴, 평점 편차를 통합하여 낮은 밀도의 사기성 사용자 블록을 보다 정확하게 탐지하는 토폴로지 및 스파이크 인식 기반의 사기 탐지 프레임워크를 제안한다. 유저의 위험도에 따라 동적으로 가중치를 조정하고 공격 시간 비용을 모델링함으로써, 실제 및 합성 데이터셋에서 하위 제곱 시간 복잡도를 확보하면서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

As online fraudsters invest more resources, including purchasing large pools of fake user accounts and dedicated IPs, fraudulent attacks become less obvious and their detection becomes increasingly challenging. Existing approaches such as average degree maximization suffer from the bias of including more nodes than necessary, resulting in lower accuracy and increased need for manual verification. Hence, we propose HoloScope, which uses information from graph topology and temporal spikes to more accurately detect groups of fraudulent users. In terms of graph topology, we introduce "contrast suspiciousness," a dynamic weighting approach, which allows us to more accurately detect fraudulent blocks, particularly low-density blocks. In terms of temporal spikes, HoloScope takes into account the sudden bursts and drops of fraudsters' attacking patterns. In addition, we provide theoretical bounds for how much this increases the time cost needed for fraudsters to conduct adversarial attacks. Additionally, from the perspective of ratings, HoloScope incorporates the deviation of rating scores in order to catch fraudsters more accurately. Moreover, HoloScope has a concise framework and sub-quadratic time complexity, making the algorithm reproducible and scalable. Extensive experiments showed that HoloScope achieved significant accuracy improvements on synthetic and real data, compared with state-of-the-art fraud detection methods.

연구 동기 및 목표

• 기존의 밀도 높은 부분그래프 탐지 방법으로는 회피되는 낮은 밀도의 사기성 사용자 블록을 탐지하는 데 도전하는 것.
• 기존 사기 탐지 알고리즘에서 노드 포함에 대한 편향으로 인한 과다 경고를 줄이는 것.
• 사용자 활동의 급격한 폭발과 감소와 같은 시간적 공격 패턴을 모델링하여 탐지 민감도를 향상시키는 것.
• 사기성 사용자와 정상 사용자 간의 평점 편차를 통합하여 사기 신호 탐지 능력을 향상시키는 것.
• 다양한 사기 신호를 통합적으로 처리하는 확장 가능한 하위 제곱 시간 알고리즘을 설계하는 것.

제안 방법

• HoloScope는 사용자 위험도에 대한 진화하는 믿음을 기반으로 객체를 재가중하는 동적 가중치 기반의 '대비 위험도'를 도입하여 낮은 밀도의 사기 탐지 성능을 향상시킨다.
• 시간적 폭발과 감소를 탐지하기 위해 활동의 급격한 증가와 감소를 식별함으로써 사기자들이 공격을 시도하는 데 드는 시간적 비용을 증가시킨다.
• 평점 편차를 통합하여 사기성 사용자와 비사기성 사용자가 주는 평점의 차이를 측정함으로써 조작 여부를 식별한다.
• 토폴로지, 시간 패턴, 평점 신호를 하나의 위험도 점수 프레임워크에 통합하여 종합적인 사기 탐지 기능을 제공한다.
• 합리적인 가정 하에 하위 제곱 시간 내에서 작동하여 대규모 그래프에 대한 확장성을 확보한다.
• 이론적 분석을 통해 시간 상한 이하로 공격하는 사기자는 탐지 가능한 폭발 또는 감소 패tern을 유발하게 되어 공격이 차단됨을 보여준다.

실험 결과

연구 질문

• RQ1 토대, 시간적 폭발, 평점 편차를 통합함으로써 낮은 밀도의 사기 블록 탐지 정확도를 향상시킬 수 있는가?
• RQ2 동적이고 토폴로지 인식 기반의 가중치 조정 방식은 고정 또는 평균 차수 기반 방법에 비해 과다 경고를 얼마나 줄이는가?
• RQ3 시간적 폭발과 감소가 조정된 사기 캠페인 탐지에 얼마나 신뢰할 수 있는 신호로 작용하는가?
• RQ4 사기성 사용자와 정상 사용자 간의 평점 편차는 사기 탐지 정밀도를 향상시키는 데 얼마나 기여하는가?
• RQ5 HoloScope의 이론적 영향은 악성 공격자의 시간 비용에 어떤 영향을 미치는가?

주요 결과

• 반실제 데이터셋에서 HoloScope는 경쟁자들 중에서 가장 높은 AUC(약 0.995)를 기록했으며, 두 경우에서는 이상적인 AUC에 가까워졌다.
• Sina Weibo 실데이터셋에서 HoloScope는 3,781명의 레이블링된 사기성 사용자를 탐지했으며, M-Zoom(1,963명)과 D-Cube를 크게 앞서는 성능을 보였다.
• 레이블링된 메시지에서 HoloScope는 약 0.8의 F-측도를 기록했으며, 정밀도와 재현율 모두 M-Zoom과 D-Cube를 초월했다.
• 최소 밀도가 0.0143(14,000명의 계정에서 200개의 간선)까지도 탐지 가능하여 낮은 밀도 환경에서의 효과성을 입증했다.
• HoloScope의 실행 시간은 간선 수에 거의 선형적으로 증가하여, BeerAdvocate와 Amazon Electronics와 같은 대규모 데이터셋에서 하위 제곱 시간 복잡도를 확인했다.
• CrossSpot는 높은 재현율을 보였지만 정밀도가 <1%에 불과하여 HoloScope의 정밀도와 재현율 간의 뛰어난 균형을 입증했다.