[論文レビュー] eXpose: A Character-Level Convolutional Neural Network with Embeddings For Detecting Malicious URLs, File Paths and Registry Keys

Joshua Saxe, Konstantin Berlin|arXiv (Cornell University)|Feb 27, 2017

Network Security and Intrusion Detection被引用数 116

ひとこと要約

eXposeは生データ文字列から直接、文字レベルCNNと埋め込みを用いて悪意のあるURL、ファイルパス、レジストリキーを検出し、同程度の偽陽性率で手作業で設計された特徴よりも検出性能を上回る。

ABSTRACT

For years security machine learning research has promised to obviate the need for signature based detection by automatically learning to detect indicators of attack. Unfortunately, this vision hasn't come to fruition: in fact, developing and maintaining today's security machine learning systems can require engineering resources that are comparable to that of signature-based detection systems, due in part to the need to develop and continuously tune the "features" these machine learning systems look at as attacks evolve. Deep learning, a subfield of machine learning, promises to change this by operating on raw input signals and automating the process of feature design and extraction. In this paper we propose the eXpose neural network, which uses a deep learning approach we have developed to take generic, raw short character strings as input (a common case for security inputs, which include artifacts like potentially malicious URLs, file paths, named pipes, named mutexes, and registry keys), and learns to simultaneously extract features and classify using character-level embeddings and convolutional neural network. In addition to completely automating the feature design and extraction process, eXpose outperforms manual feature extraction based baselines on all of the intrusion detection problems we tested it on, yielding a 5%-10% detection rate gain at 0.1% false positive rate compared to these baselines.

研究の動機と目的

• セキュリティ検知器における手動特徴抽出の削減を、生データ文字列入力に対する深層学習で実現する動機付け。
• 単一のアーキテクチャで複数のアーティファクトタイプ（URL、ファイルパス、レジストリキー）を検出できる統一モデルの開発。
• 学習済み文字埋め込みと畳み込み特徴がベースラインを上回ることの実証。
• エンドツーエンドの学習が多様なセキュリティアーティファクトに対して堅牢な性能をもたらすことの示唆。

提案手法

• 訓練可能な文字埋め込みを用いて入力文字列を s x m 行列に埋め込む（s=200, m=32）。
• カーネルサイズ k∈{2,3,4,5}の複数の1次元畳み込みを適用し、事件ごとに t=256 個のフィルターを用いて、SumPoolで固定長の特徴ベクトルを得る。
• 畳み込み出力を1024次元の特徴ベクトルに連結し、最終的に二値分類用のDenseSigmoidを備えた2層密結合ネットワークへ入力。
• エンドツーエンド学習中は層ごとのBatchNormとDropout（レジストリキーで0.5、0.2）を正則化として使用。
• Adamオプティマイザを用いたバイナリクロスエントロピー損失で学習し、バッチを256ずつ悪性128件 benign128件のバランスを維持。
• URLについては1024次元にハッシュ化したn-gram特徴量や専門家特徴量モデルなどのベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 文字レベルCNNと埋め込みは、手作業特徴なしに生データアーティファクト文字列から識別的な特徴を自動的に学習できるのか？
• RQ2 eXposeアーキテクチャはURL、ファイルパス、レジストリキーの3つの問題で、従来のn-gramや専門家特徴量ベースラインと比較してどのように機能するのか？
• RQ3 エンドツーエンド深層学習は複数のセキュリティアーティファクトタイプで低い偽陽性率における検出を改善するのか？
• RQ4 埋め込み次元数、文字列長の扱い、正則化が性能に与える影響はどの程度か？
• RQ5 学習済み文字埋め込みは、タスク間で意味的に類似した文字を意味のある形でクラスタリングするのか？

主な発見

• eXposeは3つの問題（URL、ファイルパス、レジストリキー）すべての手動特徴ベースラインを上回る。
• 偽陽性率10^-3で、eXposeはベースラインより検出率を約5%–10%高く達成。
• URLでは、eXposeはn-gramおよび専門家特徴ベースラインをAUCおよび低FPR領域で大きく上回る。
• ファイルパスとレジストリキーでは、ラベリングの課題とデータ量の制約にもかかわらず、ベースラインより検出を改善。
• 学習済み文字埋め込みは意味的に類似する文字をクラスタリングし、意味のある表現を示す。
• 埋め込み付きエンドツーエンドCNNは生デ strings から識別的特徴を効果的に抽出し、手作業特徴の必要性を低減する。