[論文レビュー] Towards an Automated Pipeline for Detecting and Classifying Malware through Machine Learning

Nicola Loi, Claudio Borile+1 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Malware Detection Techniques被引用数 6

ひとこと要約

本論文は、Windows PEファイルの自動的・静的解析を目的とした機械学習パイプラインを提示する。このパイプラインは、悪意ある・無害な分類に加え、脅威の種別、ファミリー、行動の特定も行う。EMBERデータセットで訓練された本パイプラインは、解釈可能な結果を提供するため、セキュリティアナリストがモデルの信頼性を評価し、特徴空間の可視化によってマルウェアの理解を深めることができる。

ABSTRACT

The constant growth in the number of malware - software or code fragment potentially harmful for computers and information networks - and the use of sophisticated evasion and obfuscation techniques have seriously hindered classic signature-based approaches. On the other hand, malware detection systems based on machine learning techniques started offering a promising alternative to standard approaches, drastically reducing analysis time and turning out to be more robust against evasion and obfuscation techniques. In this paper, we propose a malware taxonomic classification pipeline able to classify Windows Portable Executable files (PEs). Given an input PE sample, it is first classified as either malicious or benign. If malicious, the pipeline further analyzes it in order to establish its threat type, family, and behavior(s). We tested the proposed pipeline on the open source dataset EMBER, containing approximately 1 million PE samples, analyzed through static analysis. Obtained malware detection results are comparable to other academic works in the current state of art and, in addition, we provide an in-depth classification of malicious samples. Models used in the pipeline provides interpretable results which can help security analysts in better understanding decisions taken by the automated pipeline.

研究の動機と目的

• 機械学習を用いた自動的かつスケーラブルなWindows PEファイル分類パイプラインの開発。
• オブスクリューション技術を用いた進化するマルウェアを検出する際の、シグネチャベースおよびヒューリスティック手法の限界を克服すること。
• マルウェア／無害、脅威種別、ファミリー、行動の多段階分類を解釈可能に提供し、アナリストの意思決定を向上させること。
• 基本的な検出を超えた包括的なマルウェア分類の実現のため、EMBERデータセットを活用すること。
• 静的解析におけるデータスパarsity、ラベルの曖昧さ、特徴表現に関する課題を特定および是正すること。

提案手法

• パイプラインは静的解析を用いて、EMBERデータセットの事前処理済み特徴を活用し、PEファイルから準生の特徴を抽出する。
• 二段階分類モデルは、訓練済みの二値分類器を用いて、無害なサンプルと悪意あるサンプルを最初に区別する。
• その後の段階では、マルウェアサンプルを脅威種別、ファミリー、行動に分類する多クラス分類器を用いる。
• パイプラインは解釈可能なモデルを採用しており、アナリストが特徴空間の可視化により予測の信頼性を評価できる。
• モデルの信頼性は、未観測の無害サンプルを用いて評価され、非悪意あるファイルを効果的に区別できる強靭性を示している。
• データ制限に対応するため、特徴空間の構造を分析し、曖昧または低信頼度の領域を同定している。

実験結果

リサーチクエスチョン

• RQ1 静的特徴のみを用いて、機械学習パイプラインが高精度な検出と細分化された分類を達成できるか？
• RQ2 訓練データがスパースな場合、分類ステージの進行に伴いモデルのパフォーマンスはどのように変化するか？
• RQ3 マルウェアにおけるラベルの曖昧さやパッケージング／暗号化の影響が、分類の信頼性にどの程度及ぼされるか？
• RQ4 解釈可能な機械学習モデルは、自動マルウェア分類意思決定のアナリスト理解を向上させられるか？
• RQ5 パイプラインは、後続の分類段階で無害なサンプルが誤って悪意あると分類された場合に、どのように対処するか？

主な発見

• パイプラインは、状態の最良の手法と同等のマルウェア検出率を達成しており、EMBERデータセット上で0.1％の偽陽性率で約86.8％の検出率を示した。
• データスパarsityの影響により、分類ステージが進むごとにパフォーマンスが低下し、各段階で訓練サンプル数が半減している。
• 多くの分類誤りは、静的解析を困難にし、特徴の識別能を低下させるパッケージングや暗号化に起因している。
• 10万件の未観測の無害サンプルを用いたテストで、無害なサンプルを排除する際のモデルの信頼性が高く、初期検出段階の一般化性能が優れていることが示された。
• 特徴空間の可視化により、複数のマルウェアファミリーまたは行動が重複する曖昧な領域が特定され、モデルの不確実性が明らかになった。
• パイプラインの解釈可能性により、アナリストは予測の信頼性を評価でき、実運用における誤検出の低減を支援する。