[논문 리뷰] Composite Behavioral Modeling for Identity Theft Detection in Online Social Networks

Cheng Wang, Bo Yang|arXiv (Cornell University)|2018. 01. 21.

Spam and Phishing Detection참고 문헌 45인용 수 5

한 줄 요약

이 논문은 소셜 네트워크에서 다차원적이고 저품질의 온라인 및 오프라인 사용자 행동을 종합적으로 분석하여 신원 도용을 탐지하는 복합 행동 모델링 방법을 제안한다. 체크인과 사용자 생성 콘텐츠와 같은 데이터의 상호보완적 패턴을 활용함으로써, 단일 인증 시 하나의 복합 행동만을 사용해도 높은 탐지 정확도(최대 AUC 0.956), 낮은 지연 시간 및 1% 미만의 거짓 경고율을 달성한다.

ABSTRACT

In this work, we aim at building a bridge from poor behavioral data to an effective, quick-response, and robust behavior model for online identity theft detection. We concentrate on this issue in online social networks (OSNs) where users usually have composite behavioral records, consisting of multi-dimensional low-quality data, e.g., offline check-ins and online user generated content (UGC). As an insightful result, we find that there is a complementary effect among different dimensions of records for modeling users' behavioral patterns. To deeply exploit such a complementary effect, we propose a joint model to capture both online and offline features of a user's composite behavior. We evaluate the proposed joint model by comparing with some typical models on two real-world datasets: Foursquare and Yelp. In the widely-used setting of theft simulation (simulating thefts via behavioral replacement), the experimental results show that our model outperforms the existing ones, with the AUC values $0.956$ in Foursquare and $0.947$ in Yelp, respectively. Particularly, the recall (True Positive Rate) can reach up to $65.3\%$ in Foursquare and $72.2\%$ in Yelp with the corresponding disturbance rate (False Positive Rate) below $1\%$. It is worth mentioning that these performances can be achieved by examining only one composite behavior (visiting a place and posting a tip online simultaneously) per authentication, which guarantees the low response latency of our method. This study would give the cybersecurity community new insights into whether and how a real-time online identity authentication can be improved via modeling users' composite behavioral patterns.

연구 동기 및 목표

• 낮은 품질의 흐린 행동 데이터를 사용하여 온라인 소셜 네트워크에서 신원 도용을 탐지하는 데 도전하는 문제를 다루기.
• 데이터 부족과 낮은 내성성으로 인해 약한 성능을 보이는 단일 차원 행동 모델의 한계를 극복하기.
• 체크인과 같은 오프라인 행동과 사용자 생성 콘텐츠와 같은 온라인 행동과 같은 다차원 사용자 행동 간의 상호보완적 성격을 활용하여 보다 효과적인 행동 모델을 구축하기.
• 암호나 토큰에 의존하지 않고도 실시간, 비침습적, 지속적인 신원 인증 메커니즘을 개발하기.
• 표준 신원 도용 시뮬레이션 설정 하에서 실제 데이터셋을 대상으로 방법의 효과성을 검증하기.

제안 방법

• 온라인(예: 사용자 생성 콘텐츠) 및 오프라인(예: 체크인) 행동 특징을 통합하여 유일한 복합 행동 표현으로 만드는 공동 확률 생성 모델을 제안한다.
• 다차원 행동 데이터를 모델링하기 위해 텐서 분해를 사용하여 흐린 및 저품질 기록에서도 효과적인 학습을 가능하게 한다.
• 엔트로피의 연쇄 법칙을 활용하여 다중 행동 차원을 통합함으로써 발생하는 상호보완적 이점의 이론적 근거를 제시한다.
• 학습된 모델 하에서 복합 행동 패턴의 가능성도를 분석하여 사용자 행동을 평가하는 탐지 프레임워크를 설계한다.
• 응답 지연 시간을 최소화하기 위해 각 인증 시 하나의 복합 행동(예: 장소 방문 및 티프 게시)만을 검사하는 경량 검증 프로세스를 구현한다.

실험 결과

연구 질문

• RQ1 체크인과 UGC와 같은 다수의 저품질 행동 차원을 통합하면 단일 차원 모델 대비 신원 도용 탐지 성능이 향상되는가?
• RQ2 개별 행동 데이터가 흐리거나 노이즈가 많을 경우, 공동 모델링 접근 방식은 해킹된 계정을 얼마나 효과적으로 탐지하는가?
• RQ3 온라인과 오프라인 행동 간의 상호보완적 관계가 탐지 내성성과 정확도를 얼마나 향상시키는가?
• RQ4 복합 행동 모델은 최소한의 시스템 응답 시간 영향을 미치면서도 고성능을 달성할 수 있는가? 실시간 배포가 가능한가?
• RQ5 신원 도용 탐지에서 복합 행동 패턴을 사용할 경우, 탐지 재현율과 거짓 경고율 간의 상충 관계는 어떠한가?

주요 결과

• 제안된 공동 모델은 표준 신원 도용 시뮬레이션 조건 하에서 Foursquare 데이터셋에서 AUC 0.956, Yelp 데이터셋에서 AUC 0.947를 달성한다.
• 모델은 Foursquare에서 최대 65.3%의 참 양성률(재현율)과 Yelp에서 72.2%의 참 양성률을 기록하면서도 거짓 경고율을 1% 이하로 유지한다.
• 각 인증 시 하나의 복합 행동(예: 체크인 + 티프 게시)만 검사함으로써 낮은 응답 지연 시간을 확보하면서도 높은 탐지 성능을 유지를 한다.
• 온라인과 오프라인 행동 간의 상호보완적 효과는 개별 데이터 스트림의 품질이 낮더라도 모델의 내성성과 탐지 효율성을 크게 향상시킨다.
• 엔트로피의 연쇄 법칙을 기반으로 한 이론적 분석은 공동 모델링의 경험적 성과를 뒷받침하며, 복합 행동 패턴의 총 불확실성이 감소함을 보여준다.