[論文レビュー] Automatic Detection of Malware-Generated Domains with Recurrent Neural Models

Pierre Lison, Vasileios Mavroeidis|arXiv (Cornell University)|Sep 20, 2017

Advanced Malware Detection Techniques参考文献 16被引用数 59

ひとこと要約

本論文は、純粋なドメイン文字列からDGA生成ドメイン名を検出する再帰型ニューラルネットワークを訓練し、低い偽陽性率で高いF1スコアと強いリコールを達成します。

ABSTRACT

Modern malware families often rely on domain-generation algorithms (DGAs) to determine rendezvous points to their command-and-control server. Traditional defence strategies (such as blacklisting domains or IP addresses) are inadequate against such techniques due to the large and continuously changing list of domains produced by these algorithms. This paper demonstrates that a machine learning approach based on recurrent neural networks is able to detect domain names generated by DGAs with high precision. The neural models are estimated on a large training set of domains generated by various malwares. Experimental results show that this data-driven approach can detect malware-generated domain names with a F_1 score of 0.971. To put it differently, the model can automatically detect 93 % of malware-generated domain names for a false positive rate of 1:100.

研究の動機と目的

• 現代のマルウェアファミリーにおけるC2 rendezvousを打破するため、DGAドメインの検出の必要性を動機づける。
• ドメイン名だけに基づくデータ駆動型で特徴量を用いない検出手法を開発する。
• 大規模で多元的なDGA/ドメインデータセット上で再帰型ニューラルネットワークアーキテクチャを評価する。
• 語彙的ビグラムベースラインに対する性能上の利点を示し、展開の設計選択を分析する。

提案手法

• ドメイン名の文字列を処理する再帰型ニューラルネットワーク（GRU/LSTM）を使用する。
• 文字をワンホットベクトルとして表現する（エンベディングと比較する）。
• 監視学習を用いて、ドメインがDGA生成である確率を出力するように訓練する。
• アーキテクチャのバリアント（双方向性、密結合出力層、マルチタスク学習）を評価し、効率性と性能の両方で最良の構成を選択する。
• ビグラムベースのロジスティック回帰ベースラインと比較し、複数の指標（精度、リコール、F1、ROC AUC）を報告する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデルは外部コンテキストなしでドメイン名のみを用いてマルウェア生成ドメインを検出できるか？
• RQ2 アーキテクチャの選択（エンベディング、双方向性、出力層）が検出性能と効率にどのように影響するか？
• RQ3 検出とマルウェアファミリの分類を組み合わせたマルチタスク設定は、別個のモデルに比べて有利か？
• RQ4 多くのマルウェアファミリを含む大規模で多源のデータセットにおける提案手法の性能はどの程度か？

主な発見

モデル	精度	適合率	再現率	F1スコア	ROC AUC
Bigram	0.915	0.927	0.882	0.904	0.970
Neural model	0.973	0.972	0.970	0.971	0.996

• ニューラルモデルはマルウェア生成ドメイン検出でF1スコア0.971を達成し、ビグラムベースラインを上回る。
• 偽陽性率1:100ではマルウェア生成ドメインの93%を検出；1:1000のFPRではリコールは68%；1:10のFPRではリコールは99.9%に達する。
• 512次元GRUユニットを使用したワンホット入力は高い性能を提供する。エンベディングと双方向バリアントは限定的な利点、または明確な利点がなかった。
• ニューラルモデルは高スループット処理（1つのGPUで秒あたり数万ドメイン）を実現する。
• 辞書ベースのDGA（例 suppobox）は、十分な訓練データがあればモデルにより学習可能である一方、matsnu のようなファミリは例が限られているため依然として困難である。