[論文レビュー] MaskDGA: A Black-box Evasion Technique Against DGA Classifiers and Adversarial Defenses

Lior Sidi, Asaf Nadler+1 more|arXiv (Cornell University)|Feb 24, 2019

Adversarial Robustness in Machine Learning参考文献 42被引用数 25

ひとこと要約

MaskDGA は、分類器のアーキテクチャを知らなくても、アルゴリズム的に生成されたドメイン名（AGD）の文字レベル表現を摂動することで、最先端の DGA 分類器を効果的に回避するブラックボックスの敵対的回避技術である。DMD-2018 データセットを用いて、4 つの DGA 分類器において F1 スコアを 0.977 から 0.495 に低下させ、標準的および敵対的防御を施したモデルに対しても高い有効性と一般化性能を示している。

ABSTRACT

Domain generation algorithms (DGAs) are commonly used by botnets to generate domain names through which bots can establish a resilient communication channel with their command and control servers. Recent publications presented deep learning, character-level classifiers that are able to detect algorithmically generated domain (AGD) names with high accuracy, and correspondingly, significantly reduce the effectiveness of DGAs for botnet communication. In this paper we present MaskDGA, a practical adversarial learning technique that adds perturbation to the character-level representation of algorithmically generated domain names in order to evade DGA classifiers, without the attacker having any knowledge about the DGA classifier's architecture and parameters. MaskDGA was evaluated using the DMD-2018 dataset of AGD names and four recently published DGA classifiers, in which the average F1-score of the classifiers degrades from 0.977 to 0.495 when applying the evasion technique. An additional evaluation was conducted using the same classifiers but with adversarial defenses implemented: adversarial re-training and distillation. The results of this evaluation show that MaskDGA can be used for improving the robustness of the character-level DGA classifiers against adversarial attacks, but that ideally DGA classifiers should incorporate additional features alongside character-level features that are demonstrated in this study to be vulnerable to adversarial attacks.

研究の動機と目的

• 分類器の内部アーキテクチャやパラメータを知らなくても、文字レベルの DGA 分類器を効果的に回避できる実用的なブラックボックス回避技術の開発。
• 実際の展開環境における敵対的攻撃に対して、最先端の DGA 分類器の頑健性を評価すること。
• 敵対的再訓練や知識蒸留などの敵対的防御機構が、提案された回避技術に対してどの程度有効であるかを評価すること。
• DNS トラフィック や WHOIS 情報などの文脈的特徴と文字レベル特徴を組み合わせることで、敵対的攻撃に対する分類器の頑健性が向上するかを検討すること。
• DGA 検出を越えて、フィッシング URL やマルウェア ストリングの回避など、サイバーセキュリティ分野における他の文字レベル分類タスクへの技術の一般化可能性を調査すること。

提案手法

• 標的となる DGA 分類器の挙動を模倣するため、公開済みの AGD データセットを用いて代替モデルを学習する。
• 代替モデルを用いて、入力の文字レベル表現に対するバックプロパゲーションによる勾配を計算することで、敵対的サンプルを生成する。
• 誤分類に最も大きな影響を与える文字を特定するために、ヤコビアン サリエンス マップ（JSM）を構築する。
• 各 AGD の文字のうち、JSM で勾配値が最も高い半分を、一意なドメイン生成が保証され、重複が生じないよう置き換える。
• 1 回のフォワードとバックプロパゲーションのステップで摂動を適用し、悪意あるドメイン名を生成し、それが良性と誤分類されるようにする。
• 4 つの最先端の DGA 分類器と、2 つの敵対的防御メカニズム（敵対的再訓練と知識蒸留）を用いて、技術の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 内部パrameter やアーキテクチャを知らなくても、ブラックボックスの敵対的回避技術が文字レベル DGA 分類器を効果的に回避できるか？
• RQ2 MaskDGA は DMD-2018 データセット上で、最先端の DGA 分類器の性能をどの程度低下させるか？
• RQ3 敵対的再訓練や知識蒸留といった敵対的防御は、MaskDGA の有効性をどの程度軽減できるか？
• RQ4 文字レベル表現に対する勾配ベースの敵対的攻撃にさらされた際、現在の DGA 分類器にどのような限界があるか？
• RQ5 MaskDGA は、フィッシング検出やマルウェア サイナプスの回避など、DGA 検出を超えた文字レベル分類タスクへ一般化可能か？

主な発見

• MaskDGA は、DMD-2018 データセット上での 4 つの最先端 DGA 分類器の平均 F1 スコアを 0.977 から 0.495 に低下させ、検出性能の著しい低下を示した。
• 敵対的再訓練は DeepDGA 攻撃に対する頑健性を向上させたが、非敵対的 AGD サンプルでは性能が低下し、モデルの頑健性にトレードオフが生じることを示唆した。
• 知識蒸留は、特定の摂動戦略に起因する標的的誤分類に対して効果がなく、MaskDGA の摂動に対しては限られた耐性しか示さなかった。
• MaskDGA で生成された敵対的サンプルを用いた再訓練により、平均的な頑健性は向上したが、DeepDGA などの他の攻撃に対して完全な防御にはならなかった。
• 本研究は、文字レベル DGA 分類器が勾配ベースの敵対的攻撃に対して脆弱であることを確認し、マルチモーダル特徴の統合の必要性を強調した。
• 技術は、文字の半分のみを置き換えることでドメインの一意性を保ち、重複を避けるため、検出されないまま大規模なボットネット通信が可能になる。