[論文レビュー] Reliable Malware Analysis and Detection using Topology Data Analysis

Lionel Nganyewou Tidjon, Foutse Khomh|arXiv (Cornell University)|Nov 3, 2022

Topological and Geometric Data Analysis被引用数 4

ひとこと要約

本稿では、TDAマッパーとパーシsistenteホモロジーを用いたトポロジカル・データ解析（TDA）フレームワークを提案し、従来の手法（PCA、UMAP、t-SNE）を上回るマルウェア検出およびクラスタリングを実現する。結果として、TDAマッパーとPCAの組み合わせは、隠れたマルウェアクラスタ関係を効果的に特定する。一方、パーシステンス図は、実行時間の短縮とノイズの多いデータに対する高い耐性を兼ね備えた、重複するマルウェアファミリーのより迅速かつ正確な検出を可能にする。特に、ランダムフォレストおよび決定木分類器と組み合わせると顕著な効果を示す。

ABSTRACT

Increasingly, malwares are becoming complex and they are spreading on networks targeting different infrastructures and personal-end devices to collect, modify, and destroy victim information. Malware behaviors are polymorphic, metamorphic, persistent, able to hide to bypass detectors and adapt to new environments, and even leverage machine learning techniques to better damage targets. Thus, it makes them difficult to analyze and detect with traditional endpoint detection and response, intrusion detection and prevention systems. To defend against malwares, recent work has proposed different techniques based on signatures and machine learning. In this paper, we propose to use an algebraic topological approach called topological-based data analysis (TDA) to efficiently analyze and detect complex malware patterns. Next, we compare the different TDA techniques (i.e., persistence homology, tomato, TDA Mapper) and existing techniques (i.e., PCA, UMAP, t-SNE) using different classifiers including random forest, decision tree, xgboost, and lightgbm. We also propose some recommendations to deploy the best-identified models for malware detection at scale. Results show that TDA Mapper (combined with PCA) is better for clustering and for identifying hidden relationships between malware clusters compared to PCA. Persistent diagrams are better to identify overlapping malware clusters with low execution time compared to UMAP and t-SNE. For malware detection, malware analysts can use Random Forest and Decision Tree with t-SNE and Persistent Diagram to achieve better performance and robustness on noised data.

研究の動機と目的

• 従来のマルウェア検出手法の限界、特に高い誤検出率と、多形的・変形的マルウェアに対する脆弱性を是正すること。
• トポロジカル・データ解析（TDA）技術—特にTDAマッパー、パーシステンスホモロジー、およびtomato—を用いたマルウェアクラスタリングおよび検出の有効性を評価すること。
• TDA手法を、PCA、UMAP、t-SNEといった従来の次元削減手法と比較し、複数の機械学習分類器を用いて評価すること。
• 企業およびマルチリージョン環境におけるTDAベースのマルウェア検出のスケーラブルな展開に関する推奨事項を提供すること。

提案手法

• 本研究では、特徴抽出およびパターン同定のため、パーシステンスホモロジー、TDAマッパー、およびtomatoを用いたトポロジカル・データ解析（TDA）手法を採用する。
• TDAマッパーは、次元削減済みデータからトポロジカルなグラフを構築することで、マルウェアクラスタ間の隠れた関係を可視化および同定する。
• フィルタリングされたデータからパーシステンス図が生成され、持続的なトポロジカル特徴を検出することで、重複するマルウェアファミリーの堅牢な同定が可能になる。
• 本フレームワークは、ランダムフォレスト、決定木、XGBoost、LightGBMといった機械学習分類器と統合され、マルウェア検出に用いられる。
• 実験は、CIC-MalMem-2022（PCマルウェア）およびCCCS-CIC-AndMal-2020（モバイルマルウェア）の2つの実世界データセットを用い、バランス型およびアンバランス型のデータ分布を含む。
• スケーラビリティの推奨事項は、システムレベルの展開パターンから導出され、TDAMapper-PCAサービスの自動スケーリング、および分散アラート処理のためのCDNおよびロードバランサーの使用を含む。

実験結果

リサーチクエスチョン

• RQ1 TDAベースの特徴工学は、従来の手法（PCA、UMAP、t-SNE）と比較して、マルウェアサンプルのクラスタリングおよびマルウェアファミリー間の隠れた関係の解明において、どのように性能を発揮するか？
• RQ2 パーシステンスホモロジー、TDAマッパー、およびtomatoのうち、どのTDA手法が、短い実行時間で重複するマルウェアクラスタを最も効果的に特定できるか？
• RQ3 ランダムフォレスト、決定木、XGBoost、LightGBMのうち、どの機械学習分類器が、TDA特徴と組み合わせた際に最高の検出精度と耐性を示すか、特にノイズの多いデータ条件下で？
• RQ4 TDAベースのマルウェア検出は、大規模で分散化されたマルチリージョン企業環境で、どのようにして効果的にスケーリングできるか？

主な発見

• TDAマッパーとPCAの組み合わせは、PCA単体よりもマルウェアクラスタ間の隠れた関係を効果的に特定でき、マルウェアファミリー間の関連性の理解が深まる。
• パーシステンス図は、UMAPやt-SNEと比較して、実行時間が短く、重複するマルウェアクラスタの検出性能が優れており、特にデータの摂動下でも顕著な優位性を示す。
• ランダムフォレストおよび決定木分類器は、t-SNEおよびパーシステンス図と組み合わせることで、特にノイズの多い実世界データにおいて、優れた検出性能と耐性を発揮する。
• XGBoostおよびLightGBM分類器は、t-SNEとの組み合わせでのみ最適な性能と耐性を発揮するが、他の次元削減手法と組み合わせるとその効果が低下する。
• 本研究では、TDAMapper-PCAサービスの自動スケーリングおよびCDNとロードバランサーの使用を含む、スケーラブルな展開推奨事項を提供しており、マルチリージョン環境における大規模なマルウェア検出を支援する。
• すべての実験結果は再現可能であり、完全なコードとデータは公開された再現パッケージに含まれる。