[논문 리뷰] Predicting enterprise cyber incidents using social network analysis on the darkweb hacker forums

Soumajyoti Sarkar, Mohammed Almukaynizi외 2명|arXiv (Cornell University)|2018. 11. 15.

Cybercrime and Law Enforcement Studies참고 문헌 14인용 수 25

한 줄 요약

이 논문은 어둠의 웹 해커 포럼의 응답 네트워크를 사용하여 기업 사이버 공격을 예측하는 사회적 네트워크 분석 프레임워크를 제안한다. 전문가 사용자를 식별하고 그들 간의 경로 구조를 분석함으로써, F1 점수 0.53을 달성하였으며, 이는 무작위 기준선(F1=0.37)보다 유의하게 뛰어나다. 이는 중심성 또는 게시 통계보다 상호작용 역학이 더 강력한 예측자임을 보여준다.

ABSTRACT

With rise in security breaches over the past few years, there has been an increasing need to mine insights from social media platforms to raise alerts of possible attacks in an attempt to defend conflict during competition. We use information from the darkweb forums by leveraging the reply network structure of user interactions with the goal of predicting enterprise cyber attacks. We use a suite of social network features on top of supervised learning models and validate them on a binary classification problem that attempts to predict whether there would be an attack on any given day for an organization. We conclude from our experiments using information from 53 forums in the darkweb over a span of 12 months to predict real world organization cyber attacks of 2 different security events that analyzing the path structure between groups of users is better than just studying network centralities like Pagerank or relying on the user posting statistics in the forums.

연구 동기 및 목표

• 어둠의 웹 해커 포럼의 비정형 데이터를 활용하여 기업 사이버 사고의 증가하는 위협에 대응하기 위해.
• 사용자 상호작용 역학을 이용해 실제 사이버 공격의 조기 경고 신호를 식별하는 예측 모델을 개발하기 위해.
• 전문가 사용자 간의 네트워크 경로 구조가 전통적인 네트워크 중심성 또는 포럼 활동 지표보다 더 나은 예측자인지 평가하기 위해.
• 악성 이메일 사고 및 광범위한 보안 유출 사고에 중점을 두고 실제 사이버 공격 사건에 대해 모델을 검증하기 위해.
• 어둠의 웹 토론 패턴을 사전적 사이버 위협 지능으로 사용하는 것이 실현 가능한지 탐색하기 위해.

제안 방법

• 사용자 간 의사소통 역학을 모델링하기 위해 어둠의 웹 포럼 상호작용에서 방향성 있는 응답 네트워크를 구축한다.
• 정의된 시간 창 내에서 다른 사용자로부터 큰 관심을 받는 취약성에 관한 게시물을 올리는 사용자를 '전문가'로 식별한다.
• 전문가 중심 상호작용, 포럼/사용자 통계, 네트워크 중심성 측정치(예: 중간성, 외부도수) 기반의 시계열 특징을 추출한다.
• 일일 예측을 위한 이진 공격 레이블에 대해 그룹 라소 정규화를 적용한 로지스틱 회귀 모델을 훈련한다.
• 집중된 위협 상황에서 성능을 평가하기 위해 고활동 주(예: 주당 5건 이상의 공격)에서 통제된 평가를 수행한다.
• 무작위 기준선 및 이전 확률 기준선과의 비교를 통해 F1 점수를 기반으로 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 어둠의 웹 포럼의 응답 네트워크 구조가 전통적인 네트워크 중심성 측정치보다 실제 기업 사이버 공격을 더 효과적으로 예측할 수 있는가?
• RQ2 취약성에 대해 논의하는 전문가 사용자 주변의 상호작용 역학을 분석함으로써 공격 예측 정확도가 향상되는가?
• RQ3 경로 기반 특징(예: 중간성)은 게시 통계 및 중심성 지표와 비교해 사이버 사고 예측에 어떻게 성능을 내는가?
• RQ4 공격 빈도가 높은 기간 동안 포럼 데이터의 예측 능력이 증가하는가?
• RQ5 기존 모델 대비 네트워크 기반 특징이 사이버 공격 예측에서 임의의 경고를 줄일 수 있는가?

주요 결과

• 가장 뛰어난 성능을 보인 특징인 전문가 간 경로 구조는 F1 점수 0.53을 기록하였으며, 이는 무작위 기준선의 F1 점수 0.37보다 유의미하게 뛰어나다.
• 전문가 중심 특징은 악성 이메일 사고에 대해 가장 높은 F1 점수(0.55)를 기록하였고, 이는 포럼/사용자 통계(0.51)와 중심성 기반 특징(0.49)을 이었다.
• 중심성 측정치 중에서 중간성 중심성은 F1 점수 0.58을 기록하여, 경로 기반 분석이 도수 또는 페이지랭크보다 더 정보가 많음을 시사한다.
• 고활동 주(주당 5건 이상의 공격)로 제한된 경우, 공통 커뮤니티 특징은 F1 점수 0.67을 기록하였으며, 정밀도는 0.7, 재현율은 0.63이었다.
• 취약성 언급 특징은 고활동 주에서 가장 높은 F1 점수 0.63을 기록하여, 공격 빈도가 높은 기간 동안 더 강력한 신호를 제공함을 시사한다.
• 랜덤 포레스트는 기준선 대비 성능 향상을 이끌지 못하여, 이 데이터셋에 대해 로지스틱 회귀 모델에 그룹 라소 정규화를 적용한 것이 최적임을 나타낸다.