[논문 리뷰] Detecting Malicious Content on Facebook

Prateek Dewan, Ponnurangam Kumaraguru|arXiv (Cornell University)|2015. 01. 05.

Spam and Phishing Detection참고 문헌 19인용 수 6

한 줄 요약

이 논문은 17개의 주요 사건에서 수집한 공개 데이터를 기반으로 훈련된 42개의 특징을 가진 기계학습 모델을 사용하여 악성 페이스북 콘텐츠에 대한 실시간, 제로아워 감지 시스템을 제안한다. 엔티티 프로필, 텍스트 콘텐츠, 메타데이터 및 URL 특징을 활용하여 모델은 86.9%의 정확도를 달성하고 기존의 클러스터링 기반 기법보다 두 배 이상 많은 악성 게시물을 탐지하며, 실전 적용을 위한 배포된 REST API와 크롬 브라우저 플러그인을 제공한다.

ABSTRACT

Online Social Networks (OSNs) witness a rise in user activity whenever an event takes place. Malicious entities exploit this spur in user-engagement levels to spread malicious content that compromises system reputation and degrades user experience. It also generates revenue from advertisements, clicks, etc. for the malicious entities. Facebook, the world's biggest social network, is no exception and has recently been reported to face much abuse through scams and other type of malicious content, especially during news making events. Recent studies have reported that spammers earn $200 million just by posting malicious links on Facebook. In this paper, we characterize malicious content posted on Facebook during 17 events, and discover that existing efforts to counter malicious content by Facebook are not able to stop all malicious content from entering the social graph. Our findings revealed that malicious entities tend to post content through web and third party applications while legitimate entities prefer mobile platforms to post content. In addition, we discovered a substantial amount of malicious content generated by Facebook pages. Through our observations, we propose an extensive feature set based on entity profile, textual content, metadata, and URL features to identify malicious content on Facebook in real time and at zero-hour. This feature set was used to train multiple machine learning models and achieved an accuracy of 86.9%. The intent is to catch malicious content that is currently evading Facebook's detection techniques. Our machine learning model was able to detect more than double the number of malicious posts as compared to existing malicious content detection techniques. Finally, we built a real world solution in the form of a REST based API and a browser plug-in to identify malicious Facebook posts in real time.

연구 동기 및 목표

• 고도의 참여가 일어나는 이벤트 동안 페이스북의 기존 감지 메커니즘을 회피하는 악성 콘텐츠를 식별하기 위해.
• 뉴스가 되는 사건 기간 동안 악성 콘텐츠와 정상 콘텐츠 간의 차이를 규명하기 위해.
• 공개적으로 이용 가능한 실시간 특징들만을 사용하여 실시간, 제로아워 감지 시스템을 개발하기 위해.
• 최종 사용자가 즉각적으로 악성 페이스북 게시물을 감지할 수 있도록 가능한 솔루션—REST API와 브라우저 플러그인을 통해 구현하기 위해.

제안 방법

• 2013년 4월부터 2014년 7월까지 17개의 주요 글로벌 사건 기간 동안 330만 개 이상의 고유한 엔티티에서 440만 개의 공개 페이스북 게시물을 수집하였다.
• 엔티티 프로필, 텍스트 콘텐츠, 메타데이터 및 URL 특성과 같은 공개 데이터에서 유도된 종합적인 42개의 특징을 설계하였다.
• 악성 콘텐츠를 식별하기 위해 WOT 평가를 사용하여 레이블이 부여된 데이터셋을 기반으로 여러 기계학습 모델—특히 랜덤 포레스트—를 훈련시켰다.
• 버스트니스 및 분포 임계값을 기반으로 기존의 클러스터링 기반 캠페인 감지 기법과 성능을 평가하였다.
• 사전 훈련된 모델 추론을 통해 페이스북 게시물 ID를 수신하고 악성/정상 분류 결과를 반환하는 REST 기반 API를 개발하였다.
• REST API를 쿼리하여 실시간으로 악성 게시물을 자동으로 감지하고 경고 표시하는 크롬 브라우저 플러그인을 구축하였다.

실험 결과

연구 질문

• RQ1 고도의 참여가 일어나는 이벤트 기간 동안 악성 페이스북 게시물과 정상 게시물 간의 특징은 무엇이 다른가?
• RQ2 기존의 페이스북 감지 메커니즘은 바이럴 이벤트 기간 동안 얼마나 많은 악성 콘텐츠를 놓치는가?
• RQ3 공개적 실시간 특징들만을 기반으로 하는 제로아워 감지 시스템이 기존의 캠페인 감지 기법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 페이스북의 내장 면역 체계를 피하는 악성 콘텐츠를 식별하기 위해 공개 특징으로 훈련된 기계학습 모델은 얼마나 효과적인가?
• RQ5 실용적이고 사용자 친화적인 솔루션(REST API와 브라우저 플러그인)은 실시간으로 악성 페이스북 콘텐츠를 효과적으로 감지하고 사용자에게 경고할 수 있는가?

주요 결과

• 악성 엔티티는 주로 웹 및 제3자 애플리케이션을 통해 콘텐츠를 게시하는 반면, 정상 사용자는 주로 모바일 플랫폼을 선호한다.
• 악성 콘텐츠의 상당수는 페이스북 페이지에서 유래하여 이전에 간과되었던 공격 벡터임을 시사한다.
• 제안된 기계학습 모델은 42개의 특징 세트를 기반으로 랜덤 포레스트 분류기를 사용하여 86.9%의 정확도를 달성하였다.
• 기존의 클러스터링 기반 캠페인 감지 기법보다 두 배 이상 많은 악성 게시물을 탐지하였다.
• 4,306개의 클러스터 중 183개(429만 4,000개의 게시물)만이 버스트니스 및 분포 임계값을 충족하여 이전 방법의 61.7%의 거짓 음성 비율을 나타낸다.
• REST API와 브라우저 플러그인은 사용자 워크플로우에 실시간 감지를 효과적으로 통합하여 즉각적인 사용자 수준의 보호를 가능하게 하였다.