[論文レビュー] A Novel Deep Learning based Model to Defend Network Intrusion Detection System against Adversarial Attacks

Khushnaseeb Roshan, Aasim Zafar+1 more|arXiv (Cornell University)|Jul 31, 2023

Network Security and Intrusion Detection被引用数 7

ひとこと要約

本論文は、FGSM、JSMA、PGD、C&Wの4つの強力な回避攻撃に対して、NIDSの耐性を高めるために敵対的訓練を用いた深層学習ベースの防御機構を提案する。敵対的訓練後、モデルの精度はこれらの攻撃下で、ほとんどの手法において62%未満から98%以上に向上した。C&Wは依然として最も挑戦的であり、71.56%の精度を示した。

ABSTRACT

Network Intrusion Detection System (NIDS) is an essential tool in securing cyberspace from a variety of security risks and unknown cyberattacks. A number of solutions have been implemented for Machine Learning (ML), and Deep Learning (DL) based NIDS. However, all these solutions are vulnerable to adversarial attacks, in which the malicious actor tries to evade or fool the model by injecting adversarial perturbed examples into the system. The main aim of this research work is to study powerful adversarial attack algorithms and their defence method on DL-based NIDS. Fast Gradient Sign Method (FGSM), Jacobian Saliency Map Attack (JSMA), Projected Gradient Descent (PGD) and Carlini & Wagner (C&W) are four powerful adversarial attack methods implemented against the NIDS. As a defence method, Adversarial Training is used to increase the robustness of the NIDS model. The results are summarized in three phases, i.e., 1) before the adversarial attack, 2) after the adversarial attack, and 3) after the adversarial defence. The Canadian Institute for Cybersecurity Intrusion Detection System 2017 (CICIDS-2017) dataset is used for evaluation purposes with various performance measurements like f1-score, accuracy etc.

研究の動機と目的

• 深層学習ベースのNIDSがFGSM、JSMA、PGD、C&Wの4つの代表的な敵対的攻撃手法に対して、どの程度脆弱であるかを調査すること。
• 標準的な指標（正確性、適合率、再現率、F1スコア）を用いて、これらの敵対的攻撃がDLベースのNIDSの性能に与える影響を評価すること。
• 回避攻撃に対するモデルの耐性を高めるために、敵対的訓練を防御機構として実装し、検証すること。
• 制約付きドメイン（例：ネットワークイントラーシュジョン検出）が、制約なしドメイン（例：画像認識）と同程度に敵対的例に対して脆弱であるかどうかを分析すること。
• 敵対的摂動にさらされた後、敵対的訓練がモデルの性能をほぼ元の水準まで回復させることの実証的証拠を提供すること。

提案手法

• CICIDS-2017データセットを用いて深層ニューラルネットワーク（DNN）モデルを訓練し、通常状態下でのベースライン性能を確立する。
• FGSM、JSMA、PGD、C&Wの4つの敵対的攻撃手法を用いて、検出を回避するための摂動を加えた入力を生成する。
• 敵対的訓練を実施し、4つの攻撃手法すべてから得た清澄なサンプルと敵対的摂動を加えたサンプルを用いて、モデルを再訓練する。
• 敵対的訓練後、同じ攻撃条件下で正確性、適合率、再現率、F1スコア、AUCの向上を測定する。
• F1スコア、AUC、混同行列を用いて、攻撃前、攻撃後、防御後の3段階における性能を定量的に比較する。
• 特にC&W攻撃を念頭に置き、防御の耐性を、最も高度な攻撃技術に対しても高い性能を維持できるかという観点から評価する。

実験結果

リサーチクエスチョン

• RQ1 FGSM、JSMA、PGD、C&W攻撃は、CICIDS-2017データセット上での深層学習ベースのNIDSの性能をどの程度低下させるか？
• RQ2 敵対的訓練は、これらの攻撃がNIDSの耐性に与える影響をどの程度軽減できるか？
• RQ3 なぜC&W攻撃は敵対的防御後でも、依然としてモデル性能の低下に最も効果的であるのか？
• RQ4 制約付きドメインとしてのネットワークイントラーシュジョン検出は、制約なしドメイン（例：画像認識）と同様に敵対的例に対して脆弱であるか？
• RQ5 強い敵対的攻撃にさらされた後、敵対的訓練はモデル性能をほぼベースライン水準まで回復させることができるか？

主な発見

• ベースラインNIDSモデルは、敵対的攻撃が一切ない状態で、98.54%の正確性と98.54%のF1スコアを達成した。
• FGSM、JSMA、PGD、C&W攻撃を適用した後、モデルの正確性はそれぞれ57.95%、66.58%、56.81%、61.74%に低下し、深刻な性能低下が確認された。
• AUCスコアは98.551からFGSMで59.232、JSMAで68.037、PGDで58.485、C&Wで63.41に低下し、検出能力の低下が裏付けられた。
• 敵対的訓練後、正確性はFGSMで98.7%、JSMAで98.47%、PGDで98.68%、C&Wで71.56%に向上し、強力な防御効果が示された。
• C&W攻撃後、適合率は80.35%と最も低く、C&Wは依然として最も防御が難しい攻撃であることが示された。
• 結果から、制約付きドメインであるNIDSであっても、適切な防御機構がなければ、深層学習モデルは敵対的攻撃に対して極めて脆弱であることが確認された。