[論文レビュー] Adversarial Training for Deep Learning-based Intrusion Detection Systems

Islam Debicha, Thibault Debatty+2 more|arXiv (Cornell University)|Apr 20, 2021

Adversarial Robustness in Machine Learning参考文献 12被引用数 7

ひとこと要約

本稿は、深層学習ベースのインシデント検出システム（IDS）に対する敵対的攻撃の影響を調査し、敵対的訓練を防御策として評価している。敵対的攻撃はIDSの性能を著しく低下させることを示したが、敵対的訓練により耐性が向上する。ただし、クリーンデータにおける正確性はわずかに低下するため、ネットワークセキュリティにおける回避攻撃に対する実用的な防御戦略であると結論づけられる。

ABSTRACT

Nowadays, Deep Neural Networks (DNNs) report state-of-the-art results in many machine learning areas, including intrusion detection. Nevertheless, recent studies in computer vision have shown that DNNs can be vulnerable to adversarial attacks that are capable of deceiving them into misclassification by injecting specially crafted data. In security-critical areas, such attacks can cause serious damage; therefore, in this paper, we examine the effect of adversarial attacks on deep learning-based intrusion detection. In addition, we investigate the effectiveness of adversarial training as a defense against such attacks. Experimental results show that with sufficient distortion, adversarial examples are able to mislead the detector and that the use of adversarial training can improve the robustness of intrusion detection.

研究の動機と目的

• 深層学習ベースのインシデント検出システムがネットワークセキュリティ分野において敵対的攻撃に対してどれほど脆弱であるかを評価すること。
• このような攻撃に対して敵対的訓練が防御メカニズムとして効果的であるかを調査すること。
• 攻撃強度や敵対的サンプルの割合といった敵対的訓練のハイパーパrameterが、モデルの耐性と正確性に与える影響を分析すること。
• 敵対的例に対する耐性とクリーンなネットワークトラフィックにおける性能の間のトレードオフを評価すること。

提案手法

• FGSM、BIM、PGDなどの敵対的攻撃を用いて、通常のネットワークトラフィックに微小で標的のノイズを加えることで敵対的サンプルを生成する。
• PGD攻撃を用いて生成された敵対的サンプルを、さまざまなノイズ強度（ε_defense）で混在させたクリーンデータと組み合わせて、敵対的訓練を実装する。
• クリーンデータと敵対的サンプルの組み合わせを用いてモデルを学習させ、敵対的サンプルの割合（30%、50%、70%、90%）を変化させることでその影響を評価する。
• PGDを用いて攻撃強度（ε_attack）を段階的に増加させながら、敵対的入力に対する分類正確性を測定することで、耐性を評価する。
• クリーンデータに対する性能も測定し、耐性と通常の正確性のトレードオフを評価する。
• 過学習を軽減し、敵対的訓練されたモデルの一般化性能を向上させるために、訓練中にドロップアウト層を用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃は、ネットワークトラフィックに適用された場合、深層学習ベースのインシデント検出システムを誤って誘導できるか？
• RQ2 敵対的訓練は、敵対的サンプルに対してインシデント検出モデルの耐性をどのように向上させるか？
• RQ3 訓練時に使用する敵対的サンプルのノイズ強度（ε_defense）を変化させた場合、モデルの耐性にどのような影響を与えるか？
• RQ4 敵対的訓練サンプルの割合が、モデルの敵対的攻撃に対する耐性に与える影響は何か？
• RQ5 敵対的攻撃に対する耐性とクリーンなネットワークトラフィックにおける正確性の間にトレードオフがあるか？

主な発見

• 十分なノイズ強度（ε_attack）を有する敵対的攻撃は、深層学習ベースのIDSの性能を著しく低下させ、高い誤分類率を引き起こす。
• 敵対的訓練により、PGD、FGSM、BIMで生成された敵対的サンプルに対しても耐性が向上し、インシデント検出システムがより耐性を持つようになる。
• 敵対的訓練時に使用するノイズ強度（ε_defense）を高めることで、より強い攻撃に対してもモデルの抵抗性が向上し、防御強度と耐性の間には明確な相関関係があることが示された。
• 敵対的訓練サンプルの割合が一貫して耐性を向上させるわけではない。ε_defense = 0.7のときには高い割合が効果的であったが、他の値ではその傾向は確認されず、限界効果が顕在していると考えられる。
• 敵対的訓練により、クリーンテストデータにおける正確性はわずかではあるが明確に低下するため、耐性と通常性能のトレードオフが確認された。
• 敵対的訓練中にドロップアウト層を用いることで、過学習が軽減され、敵対的サンプルの取り込みにもかかわらずモデルの一般化性能が維持された。