[論文レビュー] SIGMA : Strengthening IDS with GAN and Metaheuristics Attacks

Simon Msika, Alejandro Quintero+1 more|arXiv (Cornell University)|Dec 18, 2019

Advanced Malware Detection Techniques参考文献 24被引用数 4

ひとこと要約

SIGMAは、生成対抗的ネットワーク（GAN）とハイブリッドメタヒューティックアルゴリズム（局所探索と遺伝的アルゴリズム）を組み合わせた反復的対抗的訓練手法を提案する。この手法により、機械学習ベースのインシデント検出システム（IDS）の再訓練に用いる現実的な対抗的攻撃を生成する。この方法はIDSの耐性を顕著に向上させ、生成された攻撃に対して最短2ラウンドで100％の検出率を達成する。特に、GANとメタヒューティックスで生成されたデータを組み合わせた場合に顕著である。

ABSTRACT

An Intrusion Detection System (IDS) is a key cybersecurity tool for network administrators as it identifies malicious traffic and cyberattacks. With the recent successes of machine learning techniques such as deep learning, more and more IDS are now using machine learning algorithms to detect attacks faster. However, these systems lack robustness when facing previously unseen types of attacks. With the increasing number of new attacks, especially against Internet of Things devices, having a robust IDS able to spot unusual and new attacks becomes necessary. This work explores the possibility of leveraging generative adversarial models to improve the robustness of machine learning based IDS. More specifically, we propose a new method named SIGMA, that leverages adversarial examples to strengthen IDS against new types of attacks. Using Generative Adversarial Networks (GAN) and metaheuristics, SIGMA %Our method consists in generates adversarial examples, iteratively, and uses it to retrain a machine learning-based IDS, until a convergence of the detection rate (i.e. until the detection system is not improving anymore). A round of improvement consists of a generative phase, in which we use GANs and metaheuristics to generate instances ; an evaluation phase in which we calculate the detection rate of those newly generated attacks ; and a training phase, in which we train the IDS with those attacks. We have evaluated the SIGMA method for four standard machine learning classification algorithms acting as IDS, with a combination of GAN and a hybrid local-search and genetic algorithm, to generate new datasets of attacks. Our results show that SIGMA can successfully generate adversarial attacks against different machine learning based IDS. Also, using SIGMA, we can improve the performance of an IDS to up to 100\% after as little as two rounds of improvement.

研究の動機と目的

• 急増するサイバー脅威にさらされるIoT環境を想定し、これまでにない対抗的攻撃に対して機械学習ベースのIDSの脆弱性を是正すること。
• 深層学習モデルの脆さを克服するため、事前に生成された対抗的攻撃でIDSを訓練することで、その耐性を高めること。
• 反復的対抗的訓練を用いて、未知の攻撃パターンに対してもIDSの耐性と一般化能力を向上させること。
• GANで生成された攻撃とメタヒューティクスで最適化された攻撃を組み合わせることで、単独で使用する場合よりも、IDSの耐性がより顕著に向上するかどうかを調査すること。

提案手法

• 生成対抗的ネットワーク（GAN）を用いて、正当なネットワークトラフィックを模倣するが悪意ある攻撃例を生成する。
• 局所探索と遺伝的アルゴリズムを組み合わせたハイブリッドメタヒューティックアルゴリズムを用いて、生成された対抗的攻撃例を精錬・最適化し、より高い回避可能性を実現する。
• 3段階のプロセスを反復的に適用する：(1) GANとメタヒューティクスを用いて新たな対抗的攻撃インスタンスを生成し、(2) その攻撃に対して現在のIDSの検出率を評価し、(3) 新たに生成された攻撃データでIDSを再訓練する。
• 検出率が3ラウンド連続で向上しなくなった時点で収束と定義し、IDSが攻撃パターンに安定して一般化したとみなす。
• 4種類の異なるIDS分類器（ニューラルネットワーク、ランダムフォレスト、SVM、ナイーブベイズ）を、組み合わせた対抗的データセットで訓練し、一般化能力を評価する。
• 以下3つの条件で訓練されたIDSの性能を比較する：(a) GAN生成データのみ、(b) メタヒューティクス生成データのみ、(c) 両者の組み合わせ。これにより、各コンponentの貢献度を特定する。

実験結果

リサーチクエスチョン

• RQ1 GANで生成された対抗的攻撃例は、機械学習ベースのIDSから効果的に検出を回避できるか。その回避度合いはどの程度か？
• RQ2 GANで生成された攻撃とメタヒューティクスで最適化された攻撃を組み合わせることで、単独で使用する場合よりもIDSの耐性が顕著に向上するか？
• RQ3 SIGMA手法は、異なるIDSアーキテクチャにおいて、どの程度の速さで高い検出率（例：100％）に収束するか？
• RQ4 メタヒューティクスで最適化された攻撃を含めることで、GAN単体での訓練に比べ、未知の対抗的パターンへの一般化能力がどの程度向上するか？
• RQ5 対抗的例を用いた反復的再訓練プロセスは、過去に観測された特定の攻撃パターンへの過学習を防ぐのに有効か？

主な発見

• SIGMA手法は、ベースラインIDSモデルを効果的に回避する対抗的攻撃を生成した。特に、本物のデータのみで訓練された場合、検出率はほぼ0％まで低下した。
• ニューラルネットワークおよびランダムフォレストベースのIDSでは、SIGMA手法を用いることで、最短2ラウンドの再訓練で生成攻撃に対して100％の検出率を達成した。これは、GAN生成データのみで訓練されたモデルに比べて著しく高速であった。
• メタヒューティクス生成データのみで訓練されたモデルは、GAN生成攻撃を検出できなかった。これは、メタヒューティクス単体では耐性向上に不十分であることを示している。
• GANとメタヒューティクスで生成されたデータの組み合わせにより、単独使用時よりも収束が速く、検出性能も向上した。これは相乗効果の存在を示している。
• SIGMAを用いた反復的再訓練プロセスにより、特定の攻撃パターンへの過学習が防がれ、新たな未知の攻撃バージョンに対しても一般化能力が向上した。
• 4種類の異なるIDS分類器にわたる一般化能力を示したが、特にニューラルネットワークおよびランダムフォレストモデルで顕著な改善が観察された。