[論文レビュー] Machine Learning With Feature Selection Using Principal Component Analysis for Malware Detection: A Case Study

Jason Zhang|arXiv (Cornell University)|Feb 10, 2019

Advanced Malware Detection Techniques参考文献 10被引用数 25

ひとこと要約

本論文は、主成分分析（PCA）と多層パーセプトロン（MLP）ニューラルネットワークを統合することで、PDFマルウェア検出における特徴量次元の削減を図る、強化された機械学習手法を提案する。この手法は、特徴量を33%削減し、学習を22%高速化しながらも、93.17%の真正陽性率と0.08%の偽陽性率を達成しており、優れた商用ウイルス対策スキャナーよりも優れた性能を示している。

ABSTRACT

Cyber security threats have been growing significantly in both volume and sophistication over the past decade. This poses great challenges to malware detection without considerable automation. In this paper, we have proposed a novel approach by extending our recently suggested artificial neural network (ANN) based model with feature selection using the principal component analysis (PCA) technique for malware detection. The effectiveness of the approach has been successfully demonstrated with the application in PDF malware detection. A varying number of principal components is examined in the comparative study. Our evaluation shows that the model with PCA can significantly reduce feature redundancy and learning time with minimum impact on data information loss, as confirmed by both training and testing results based on around 105,000 real-world PDF documents. Of the evaluated models using PCA, the model with 32 principal feature components exhibits very similar training accuracy to the model using the 48 original features, resulting in around 33% dimensionality reduction and 22% less learning time. The testing results further confirm the effectiveness and show that the model is able to achieve 93.17% true positive rate (TPR) while maintaining the same low false positive rate (FPR) of 0.08% as the case when no feature selection is applied, which significantly outperforms all evaluated seven well known commercial antivirus (AV) scanners of which the best scanner only has a TPR of 84.53%.

研究の動機と目的

• 機械学習を用いたマルウェア検出における特徴量の重複と高い計算コストの課題に対処すること。
• PCAに基づく特徴選択が、実世界のPDFマルウェア検出タスクにおけるモデルの性能と学習効率に与える影響を評価すること。
• 提案手法のPCA強化モデルを、元のMLP dfモデルおよび商用ウイルス対策スキャナーと比較し、検出精度と偽陽性率の観点から評価すること。
• PCAによる次元削減が、重要な情報を保持しつつ、学習時間と特徴量の重複を顕著に削減できることを示すこと。

提案手法

• 本研究は、元のMLP dfモデルにPCAに基づく特徴選択を追加し、入力次元を低減する。
• 主成分分析を用いて、元の特徴量の最も情報量の多い線形結合を抽出し、最大の分散を保持する。
• 10、28、32の主成分を含む複数のPCA設定をテストし、それぞれ79%、41%、33%の次元削減に対応する。
• MLP dfモデルのアーキテクチャはそのままで、隠れ層が2層で各72ニューロン、出力層が1つのシグモイド層（2値分類用）を採用。
• モデルは5,000エポックにわたり学習され、本番環境のPDF文書約105,000件（両方のタイプを含む）のデータセットで評価された。
• 性能は、真正陽性率（TPR）、偽陽性率（FPR）、学習精度、学習時間で測定された。

実験結果

リサーチクエスチョン

• RQ1 PCAに基づく特徴選択は、予測情報の損失を最小限に抑えつつ、PDFマルウェア検出における次元削減を効果的に実現できるか？
• RQ2 PCA強化モデルの性能は、元のMLP dfモデルと比較して、学習精度と推論速度の面でどのように異なるか？
• RQ3 PCAベースのモデルは、商用ウイルス対策スキャナーと比較して、悪意あるPDFの検出においてどの程度優れているか？
• RQ4 モデル効率と検出精度のバランスを考慮した場合、最適な主成分数は何か？

主な発見

• 32個の主成分を用いたモデル（MLP_df+PCA_32）は、元のMLP dfモデルとほぼ同等の学習精度を達成しており、情報損失が最小限であることが示された。
• PCAベースのモデルは、特徴量の次元を約33%削減し、フル特徴量モデルと比較して学習時間を22%短縮した。
• MLP_df+PCA_32モデルは、93.17%の真正陽性率を達成しながらも、偽陽性率を0.08%に維持し、元のMLP dfモデルと同等の性能を示した。
• 提案手法は、同じテストセットで84.53%の真正陽性率を達成した最良の商用ウイルス対策スキャナーを大きく上回った。
• 累積説明される分散比の分析から、32個の主成分が高精度な検出に十分な情報を保持していることが確認された。
• 10個の主成分を用いたモデルは、3,000エポックで約98%の学習精度を達成しており、低次元でも収束が良好であることが示された。