[論文レビュー] A Decade of Mal-Activity Reporting: A Retrospective Analysis of Internet Malicious Activity Blacklists

Benjamin Zi Hao Zhao, Muhammad Ikram+4 more|arXiv (Cornell University)|Apr 24, 2019

Network Security and Intrusion Detection参考文献 24被引用数 4

ひとこと要約

本論文は、10年間のインターネット悪意ある活動ブラックリストの縦断的分析を提示する。157万件のラベル付きレポートを用いて訓練された機械学習分類器を用い、6つのカテゴリーに分類して5,160万件の悪意ある活動レポートを分類した。主な貢献は、公開可能なデータセットと分析であり、フィッシングとマルウェアが支配的であることが明らかになった。少数のIPアドレス、AS、国が大部分の悪意ある活動を占めており、広範なフィルタリングよりも標的的な対策がより効果的である可能性を示唆している。

ABSTRACT

This paper focuses on reporting of Internet malicious activity (or mal-activity in short) by public blacklists with the objective of providing a systematic characterization of what has been reported over the years, and more importantly, the evolution of reported activities. Using an initial seed of 22 blacklists, covering the period from January 2007 to June 2017, we collect more than 51 million mal-activity reports involving 662K unique IP addresses worldwide. Leveraging the Wayback Machine, antivirus (AV) tool reports and several additional public datasets (e.g., BGP Route Views and Internet registries) we enrich the data with historical meta-information including geo-locations (countries), autonomous system (AS) numbers and types of mal-activity. Furthermore, we use the initially labelled dataset of approx 1.57 million mal-activities (obtained from public blacklists) to train a machine learning classifier to classify the remaining unlabeled dataset of approx 44 million mal-activities obtained through additional sources. We make our unique collected dataset (and scripts used) publicly available for further research. The main contributions of the paper are a novel means of report collection, with a machine learning approach to classify reported activities, characterization of the dataset and, most importantly, temporal analysis of mal-activity reporting behavior. Inspired by P2P behavior modeling, our analysis shows that some classes of mal-activities (e.g., phishing) and a small number of mal-activity sources are persistent, suggesting that either blacklist-based prevention systems are ineffective or have unreasonably long update periods. Our analysis also indicates that resources can be better utilized by focusing on heavy mal-activity contributors, which constitute the bulk of mal-activities.

研究の動機と目的

• 2007年から2017年までの報告された悪意あるインターネット活動の進化を体系的に特徴づけること。
• 悪意ある活動レポートのダイナミクス、特に悪意あるホストの持続的・再発生的行動を理解すること。
• 脅威の全体像を支配する主要な貢献者（IP、AS、国）を同定すること。
• メタデータを用いて未ラベル付きの悪意ある活動レポートをラベル付けるための機械学習分類器の開発と検証すること。
• 5,160万件の悪意ある活動レポートからなる包括的かつ歴史的に豊富なデータセットを公開し、研究者による自由な利用を可能にすること。

提案手法

• 2007年から2017年までの期間にわたり、22の公開ブラックリストから227万件の初期悪意ある活動レポートを収集した。
• ウェイバックマシン、ウイルス対策レポート、BGPルートビュー、インターネットレジストリを用いて、歴史的メタデータでデータセットを拡充した。
• IP、日付、AS番号、国コード、組織名などの特徴量を用いて、悪意ある活動タイプを予測するためのランダムフォレスト分類器のアンサンブルを訓練した。
• ラベル付きデータの40/60%のトレーニング/テスト分割において、悪意ある活動タイプの分類で93.5%の正確性を達成した。
• 訓練済みモデルを用いて、追加のソースから得た4,400万件の未ラベル付きレポートのタイプを予測した。
• ホストの活動と非活動のサイクルを分析するため、P2Pに類似したチェンジモデルを用いて発見結果を検証した。

実験結果

リサーチクエスチョン

• RQ1 2007年から2017年までの間、悪意ある活動の報告件数とその分布は、さまざまなカテゴリーでどのように変化したか？
• RQ2 悪意ある活動の主な発信元であるIPアドレス、AS、国はどこか？脅威はどの程度集中しているか？
• RQ3 悪意あるホストはどの程度持続的または再発生的行動を示しており、ブラックリストの有効性にどのような含みがあるか？
• RQ4 基本的なメタデータを用いた機械学習分類器は、悪意ある活動タイプの予測にどの程度効果的か？正確性はどの程度か？
• RQ5 悪意ある活動の主要貢献者を特定し、焦点を当てた対策を講じることで、全体の脅威件数を著しく削減できるか？

主な発見

• マルウェアは2017年においても最も大きな悪意ある活動クラスであり、全レポートの59%を占めた。一方、フィッシングは29%にまで上昇し、2番目に大きなクラスとなった。
• 悪意ある活動レポートの大部分を占めるのは少数のIPアドレス、AS、国であり、2,200の固有のASがマルウェア関連活動の88%をホスティングしていた。
• マルウェアクラスは、他の悪意ある活動クラスと比較して、ホスティングインフラで54%、地理的場所で29%高い頻度で発生していた。
• フィッシングレポートは2012年以降、着実に増加しており、サイバー脅威戦術の変化が顕著に表れている。
• 多くの悪意あるホストは短い「活動」と「非活動」のサイクルを繰り返しており、ブラックリストが繰り返し悪意ある行動を取る者を効果的に抑制できていない可能性がある。
• 機械学習分類器は、基本的なメタデータを用いて悪意ある活動タイプを93.5%の正確性で予測でき、未ラベル付きレポートのスケールの大きなラベル付けを可能にした。