[論文レビュー] Detecting malicious PDF using CNN

Raphael Fettaya, Yishay Mansour|arXiv (Cornell University)|Jul 24, 2020

Advanced Malware Detection Techniques参考文献 16被引用数 7

ひとこと要約

本論文では、手動による特徴量抽出を伴わず、生のバイトレベル表現から直接悪意あるPDFファイルを検出するため、畳み込みニューラルネットワーク（CNN）のアンサンブルを用いた深層学習的手法を提案する。この手法は94%の検出精度を達成し、ゼロデイマルウェアを特定可能であり、多くの商用ウイルス対策ソリューションを上回る性能を示すとともに、高い一貫性と完全性をもってマルウェアをファミリーにクラスタリングする。

ABSTRACT

Malicious PDF files represent one of the biggest threats to computer security. To detect them, significant research has been done using handwritten signatures or machine learning based on manual feature extraction. Those approaches are both time-consuming, require significant prior knowledge and the list of features has to be updated with each newly discovered vulnerability. In this work, we propose a novel algorithm that uses an ensemble of Convolutional Neural Network (CNN) on the byte level of the file, without any handcrafted features. We show, using a data set of 90000 files downloadable online, that our approach maintains a high detection rate (94%) of PDF malware and even detects new malicious files, still undetected by most antiviruses. Using automatically generated features from our CNN network, and applying a clustering algorithm, we also obtain high similarity between the antiviruses' labels and the resulting clusters.

研究の動機と目的

• 深層学習を用いて、手動による特徴量抽出を不要とする、自動的で特徴量フリーな悪意あるPDFファイルの検出手法の開発。
• 従来の署名ベースのウイルス対策システムで回避される、ゼロデイおよび以前に未知のマルウェアバージョンの検出を向上させること。
• CNNが学習した特徴量を用いて、悪意あるPDFを自動的に一貫性のあるファミリーにグループ化すること。
• 商用ウイルス対策エンジンと実世界のデータセットを用いて、モデルの性能を評価すること。
• 今後の研究のための公開ベンチマークデータセットの構築

提案手法

• モデルは、各ファイルを画像として入力可能な2次元テンソル（バイト値）として、生のPDFファイルを処理する。
• 複数のCNNアーキテクチャのアンサンブルを訓練することで、耐障害性と検出精度を向上させる。
• ネットワークはバイトレベル表現から階層的な特徴量を直接学習し、手動による特徴量抽出の必要性を排除する。
• HDBSCANクラスタリングを、CNNが学習した特徴量埋め込みに適用し、事前のラベルなしでマルウェアをファミリーにグループ化する。
• 検出率、偽陽性率、およびクラスタリング指標（均一性と完全性）を用いてモデルの性能を評価する。
• VirusTotalから取得した90,000件のPDFファイル（両方の良性および悪意あるサンプルを含む）のデータセットを用いて、アプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 生のバイトレベルデータ上で訓練されたCNNモデルは、手動による特徴量抽出を伴わず、悪意あるPDFファイルを高い正確性で検出可能か？
• RQ2 モデルは、商用ウイルス対策エンジンが検出できないゼロデイマルウェアを検出可能か？
• RQ3 CNNが学習した特徴量は、どの程度、意味的で整合性のあるファミリーに悪意あるPDFをグループ化可能か？
• RQ4 モデルのクラスタリング性能は、複数のウイルス対策ベンダーが割り当てたラベルと比較してどの程度か？
• RQ5 異なるウイルス対策ベンダーが異なる命名規則を使用する中で、モデルの内部表現が、マルウェアファミリー間の構造的類似性を明らかにできるか？

主な発見

• CNNアンサンブルは、悪意あるPDFファイルに対して94%の検出率を達成し、偽陽性率は0.5%に抑えられた。
• モデルは、テスト時において大多数の商用ウイルス対策エンジンが検出できなかった14.5%のマルウェアサンプルを正常に検出でき、ゼロデイ検出能力を示した。
• CNNが学習した特徴量のクラスタリングは、10のクラスタで75%を超える均一性スコアを達成し、ウイルス対策ベンダーのファミリーラベルと強い整合性を示した。
• クラスタリングの完全性は高く、75%のマルウェアサンプルが、少なくとも1つのウイルス対策ベンダーのファミリー指定と一致するクラスタにグループ化された。
• 特に、以前に未知またはゼロデイの脅威に対して、同テストセットにおいて大多数の商用ウイルス対策ソリューションを上回る検出率を示した。
• 本研究では、異なるウイルス対策ベンダーが不一致な命名規則を使用していることが判明し、一部のベンダー（例：Microsoft）はより具体的なラベルを、他のベンダー（例：McAfee）はより一般的なラベルを使用している。このため、モデルのクラスタリングは、こうした不整合を是正するのに役立った。