[論文レビュー] Towards resilient machine learning for ransomware detection

Li Chen, Chih-Yuan Yang+2 more|arXiv (Cornell University)|Dec 21, 2018

Advanced Malware Detection Techniques参考文献 50被引用数 21

ひとこと要約

本論文は、悪意ある行動を模倣しながらも無害に見えるようにするGANベースのフレームワークを提案し、機械学習ベースのランサムウェア検出器を回避するための悪意ある動的特徴を生成する。実世界での検出精度が高くても、テストされた7つの分類器のうち6つがGANによって生成されたサンプルを検出できず、ランサムウェア防御における機械学習の耐性に深刻な脆弱性が存在することが明らかになった。

ABSTRACT

There has been a surge of interest in using machine learning (ML) to automatically detect malware through their dynamic behaviors. These approaches have achieved significant improvement in detection rates and lower false positive rates at large scale compared with traditional malware analysis methods. ML in threat detection has demonstrated to be a good cop to guard platform security. However it is imperative to evaluate - is ML-powered security resilient enough? In this paper, we juxtapose the resiliency and trustworthiness of ML algorithms for security, via a case study of evaluating the resiliency of ransomware detection via the generative adversarial network (GAN). In this case study, we propose to use GAN to automatically produce dynamic features that exhibit generalized malicious behaviors that can reduce the efficacy of black-box ransomware classifiers. We examine the quality of the GAN-generated samples by comparing the statistical similarity of these samples to real ransomware and benign software. Further we investigate the latent subspace where the GAN-generated samples lie and explore reasons why such samples cause a certain class of ransomware classifiers to degrade in performance. Our focus is to emphasize necessary defense improvement in ML-based approaches for ransomware detection before deployment in the wild. Our results and discoveries should pose relevant questions for defenders such as how ML models can be made more resilient for robust enforcement of security objectives.

研究の動機と目的

• 機械学習ベースのランサムウェア検出システムが悪意ある攻撃に対してどれほど耐性を持つのかを評価すること。
• 実際のランサムウェア行動を模倣する動的特徴を自動生成するGANベースのフレームワークを開発すること。
• 生成されたサンプルが実際のランサムウェアおよび通常のソフトウェアとどれほど悪意ある性質と統計的類似性を持つのかを定量化すること。
• 生成された悪意あるサンプルが分類器の盲点に位置する潜在特徴空間を分析することで、既存の分類器の盲点を同定すること。
• 実環境での導入前にモデルの頑健性を向上させるために、adversarial training および品質指標を提案すること。

提案手法

• 実際のランサムウェアおよび通常のアプリケーションの動的システムログを用いて、生成対抗ネットワーク（GAN）を訓練し、悪意ある特徴シーケンスを生成する。
• 統計的類似性指標（例：K-S検定、ワルシャルト距離）を用いて、GANによって生成されたログと実際の通常ログ・悪意あるログを比較する。
• 生成されたサンプルを潜在特徴空間（例：Text-CNN埋め込み）にマッピングし、分類器の脆弱性を分析する。
• GANによって生成された特徴シーケンスを実際のI/O操作（例：ファイル名変更、高エントロピーの書き込み）に変換するランサムウェアシミュレーションプログラムを開発し、実際の悪意ある動作を生成する。
• 生成されたサンプルが悪意ある意図を保持しつつ検出を回避できるかどうかを保証するため、adversarial品質指標を適用する。
• GANによって生成されたサンプルを用いて adversarial training を実施し、既存のランサムウェア分類器の頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GANによって生成された動的特徴は、最先端の機械学習ベースのランサムウェア検出器を効果的に回避できるか？
• RQ2 統計的分布の観点から、GANによって生成されたサンプルは実際のランサムウェアおよび通常のソフトウェアとどれほど類似しているか？
• RQ3 悪意あるサンプルはどの潜在特徴部分空間に位置しているのか？ なぜそれらが分類器の性能低下を引き起こすのか？
• RQ4 生成されたサンプルの悪意ある性質と検出回避性を信頼性高く評価できるadversarial品質指標は何か？
• RQ5 GANによって生成されたサンプルを用いたadversarial trainingは、実環境での導入においてランサムウェア分類器の耐性を向上させることができるか？

主な発見

• 実データに対する高い精度を示す7つの高効果なランサムウェア分類器のうち、6つがGANによって生成された悪意あるサンプルの大部分を検出できなかった。
• GANによって生成されたサンプルは元の特徴空間では実際のランサムウェアと高い統計的類似性を示したが、Text-CNNの潜在空間では通常ログに近づいており、分類器の盲点に位置していることが示唆された。
• Text-CNN分類器は特に脆弱であり、その潜在空間において悪意あるサンプルが通常ログに統計的に近づいていたため、それらを検出できなかったことが説明された。
• SVM-radialおよびXGB-Text-CNNアンサンブルはより高い頑健性を示し、複数の分類器を組み合わせたアンサンブル手法が、悪意あるプローブに対して防御の多層的強化を実現できることを示唆した。
• 提案されたadversarial品質指標は、悪意ある性質と類似性を効果的に定量化でき、生成されたサンプルの信頼性ある評価を可能にした。
• このフレームワークは、ML検出を回避しつつも完全なランサムウェア機能を維持する実際のI/Oシーケンスを効果的に生成でき、実用的な回避能力を実証した。