[논문 리뷰] A Decade of Mal-Activity Reporting: A Retrospective Analysis of Internet Malicious Activity Blacklists

Benjamin Zi Hao Zhao, Muhammad Ikram외 4명|arXiv (Cornell University)|2019. 04. 24.

Network Security and Intrusion Detection참고 문헌 24인용 수 4

한 줄 요약

이 논문은 2007년에서 2017년까지의 인터넷 악성 활동 블랙리스트에 대한 10년에 걸친 종합적 분석을 제시하며, 157만 건의 레이블이 부여된 보고서를 기반으로 훈련된 기계학습 분류기를 사용해 5,160만 건의 악성 활동 보고서를 6개 카테고리로 분류한다. 주요 기여는 공개된 데이터셋과 분석으로, 피싱과 악성코드가 지배적이며, 다수의 악성 활동이 소수의 IP 주소, AS, 국가에서 기인하고 있음을 드러내며, 광범위한 필터링보다는 표적적 대응이 더 효과적일 수 있음을 시사한다.

ABSTRACT

This paper focuses on reporting of Internet malicious activity (or mal-activity in short) by public blacklists with the objective of providing a systematic characterization of what has been reported over the years, and more importantly, the evolution of reported activities. Using an initial seed of 22 blacklists, covering the period from January 2007 to June 2017, we collect more than 51 million mal-activity reports involving 662K unique IP addresses worldwide. Leveraging the Wayback Machine, antivirus (AV) tool reports and several additional public datasets (e.g., BGP Route Views and Internet registries) we enrich the data with historical meta-information including geo-locations (countries), autonomous system (AS) numbers and types of mal-activity. Furthermore, we use the initially labelled dataset of approx 1.57 million mal-activities (obtained from public blacklists) to train a machine learning classifier to classify the remaining unlabeled dataset of approx 44 million mal-activities obtained through additional sources. We make our unique collected dataset (and scripts used) publicly available for further research. The main contributions of the paper are a novel means of report collection, with a machine learning approach to classify reported activities, characterization of the dataset and, most importantly, temporal analysis of mal-activity reporting behavior. Inspired by P2P behavior modeling, our analysis shows that some classes of mal-activities (e.g., phishing) and a small number of mal-activity sources are persistent, suggesting that either blacklist-based prevention systems are ineffective or have unreasonably long update periods. Our analysis also indicates that resources can be better utilized by focusing on heavy mal-activity contributors, which constitute the bulk of mal-activities.

연구 동기 및 목표

• 2007년에서 2017년까지 보고된 악성 인터넷 활동의 변화를 체계적으로 특성화하기 위해.
• 악성 활동 보고의 역학, 특히 악성 호스트의 지속성과 재발성에 대한 이해를 위해.
• 위협 환경를 지배하는 주요 기여자(IP, AS, 국가)를 특정하기 위해.
• 메타데이터를 사용해 레이블이 부여되지 않은 악성 활동 보고서를 레이블링하기 위한 기계학습 분류기 개발 및 검증을 위해.
• 5,160만 건의 악성 활동 보고서로 구성된 역사적으로 풍부한 데이터셋을 공개 연구용도로 제공하기 위해.

제안 방법

• 2007~2017년 기간 동안 22개의 공개 블랙리스트에서 227만 건의 初기 악성 활동 보고서를 수집하였다.
• 웨이백 머신, 악성코드 방지 보고서, BGP 라우트 뷰, 인터넷 등록 기관을 활용해 역사적 메타데이터를 데이터셋에 보완하였다.
• IP, 날짜, AS 번호, 국가 코드, 조직명 등의 특징을 기반으로 악성 활동 유형을 예측하기 위해 랜덤 포레스트 분류기의 앙상블를 훈련시켰다.
• 레이블이 부여된 데이터의 40/60% 훈련/테스트 분할에서 악성 활동 유형 분류 정확도가 93.5%에 도달하였다.
• 훈련된 모델을 사용해 추가 자료원으로부터의 4,400만 건의 이전에 레이블이 부여되지 않은 보고서에 대해 유형을 예측하였다.
• 호스트 활동 및 비활동 주기 분석을 위해 P2P 기반의 채굴 모델을 활용해 결과를 검증하였다.

실험 결과

연구 질문

• RQ1 2007년에서 2017년까지의 다양한 카테고리에 걸쳐 보고된 악성 활동의 규모와 분포는 어떻게 변화해 왔는가?
• RQ2 악성 활동의 주요 원천인 IP 주소, AS, 국가들은 무엇이며, 위협은 얼마나 집중되어 있는가?
• RQ3 악성 호스트는 얼마나 지속적이거나 재발적인 행동을 보이며, 이는 블랙리스트의 효과성에 어떤 함의를 갖는가?
• RQ4 기본 메타데이터만을 사용할 때 기계학습 분류기가 악성 활동 유형을 예측하는 데 얼마나 효과적인가, 정확도는 얼마인가?
• RQ5 악성 활동의 주요 기여자를 특정하고 집중적으로 대응하면 전체 위협 량을 크게 줄일 수 있는가?

주요 결과

• 2017년 기준 악성코드가 악성 활동 유형 중 가장 높은 비중을 차지하며 전체 보고서의 59%를 차지했고, 피싱은 29%로 두 번째로 큰 유형이 되었다.
• 소수의 IP 주소, AS, 국가가 다수의 악성 활동 보고서를 담당하고 있으며, 2,200개의 고유한 AS가 악성코드 관련 활동의 88%를 차지하고 있다.
• 악성코드 유형은 다른 악성 활동 유형보다 호스팅 인프라에서 54% 더 높은 빈도로 발생하고, 지리적 위치에서는 29% 더 높은 빈도로 발생한다.
• 피싱 보고서는 2012년 이후 지속적으로 증가하여 사이버 위협 전략의 변화가 진행 중임을 시사한다.
• 많은 악성 호스트가 '활동'과 '비활동' 주기를 짧게 반복하는 경향을 보이며, 이는 블랙리스트가 반복적인 위협자들을 효과적으로 억제하지 못하고 있음을 시사한다.
• 기계학습 분류기는 기본 메타데이터만을 사용해도 악성 활동 유형 예측 정확도가 93.5%에 도달하여, 미레이블링된 보고서의 대규모 레이블링을 가능하게 하였다.