[論文レビュー] Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach

Yizhou Yang, Xin Liu|arXiv (Cornell University)|Feb 22, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、チェビシェフ分解評価者とカバレッジベースのマスキング機構を用いて、行動多様性を持つ攻撃戦略を生成することで、自動ペネトレーションテストのための好奇心駆動型で多目的な深層強化学習フレームワークを提案する。この手法は、動的に拡大する攻撃空間において、探索効率と多目的性能を向上させ、NASimおよびCAGE環境における学習安定性と非支配的攻撃戦略の多様性において、最先端の手法を上回る性能を発揮する。

ABSTRACT

Penetration Testing plays a critical role in evaluating the security of a target network by emulating real active adversaries. Deep Reinforcement Learning (RL) is seen as a promising solution to automating the process of penetration tests by reducing human effort and improving reliability. Existing RL solutions focus on finding a specific attack path to impact the target hosts. However, in reality, a diverse range of attack variations are needed to provide comprehensive assessments of the target network's security level. Hence, the attack agents must consider multiple objectives when penetrating the network. Nevertheless, this challenge is not adequately addressed in the existing literature. To this end, we formulate the automatic penetration testing in the Multi-Objective Reinforcement Learning (MORL) framework and propose a Chebyshev decomposition critic to find diverse adversary strategies that balance different objectives in the penetration test. Additionally, the number of available actions increases with the agent consistently probing the target network, making the training process intractable in many practical situations. Thus, we introduce a coverage-based masking mechanism that reduces attention on previously selected actions to help the agent adapt to future exploration. Experimental evaluation on a range of scenarios demonstrates the superiority of our proposed approach when compared to adapted algorithms in terms of multi-objective learning and performance efficiency.

研究の動機と目的

• 単一目的強化学習に依存する既存の自動ペネトレーションテストエージェントにおける行動多様性の欠如を解決すること。
• 攻撃影響、特権昇格、行動コストといった目的をバランスさせながら、効果的な多目的学習を可能にすること。
• 探索中に新たな行動が追加される現実世界のペネトレーションテストシナリオにおける動的に拡大する行動空間を処理すること。
• カバレッジベースのマスキング機構により、以前に探索済みの行動に注目を向けるのを減らすことで、学習効率と収束性を向上させること。
• 手動での好み設定や報酬形状の必要なしに、非支配的攻撃戦略の多様な集合を生成すること。

提案手法

• 不完全観測性と拡大する行動空間を有する多目的マルコフ決定過程（MOMDP）として自動ペネトレーションテストを定式化する。
• スパース報酬学習を可能にするために、ランダムネットワーク分散（RND）を拡張したプロキシマルポリシー最適化（PPO）エージェントを採用する。
• 既に探索済みの行動のロジットを抑制することで、未探索のネットワークセグメントへ向かう探索を促進するカバレッジベースのマスキング機構を導入する。
• 複数の目的をバランスさせ、多様で非支配的な攻撃戦略を生成するためのチェビシェフ分解評価者を提案する。
• 幅と深さのトレードオフをモデル化するため、妥協成功と特権昇格を組み合わせたベクトル値報酬を用いる。
• カバレッジ分布とエージェントネットワークのロジットを統合し、ネットワーク探索の進行状況に応じて動的に行動選択を形状づける。

実験結果

リサーチクエスチョン

• RQ1 多目的強化学習エージェントは、現実的なペネトレーションテスト環境で多様で非支配的な攻撃戦略を生成できるか？
• RQ2 カバレッジベースのマスキング機構は、動的に拡大する行動空間を持つ環境で、学習の安定性と効率をどのように向上させるか？
• RQ3 チェビシェフ評価者と従来の線形スカラー化手法に比べて、多様で高品質な攻撃戦略を発見する際の性能向上はどの程度か？
• RQ4 本手法は、大規模で複雑なネットワークトポロジーにおいて、単一目的および価値ベースのベースラインと比較して、性能と安定性の面でどのようにスケーリングするか？
• RQ5 スパース報酬と部分的観測性を持つ環境でも、エージェントは効果的な探索と収束を維持できるか？

主な発見

• 提案手法は、特に中規模および大規模なネットワークシナリオにおいて、学習安定性と収束性に優れ、DQNおよび改善版DQNが収束に失敗する状況でも有効であることが示された。
• カバレッジマスキング機構は、学習効率と収束性を顕著に向上させ、エージェントが継続的に新しいネットワークセグメントを探索し、劣悪な方策を避けるのを可能にした。
• チェビシェフ評価者により、さまざまな重み設定において線形スカラー化で得られる戦略を上回る非支配的攻撃戦略の集合が生成された。
• 本手法は、多目的学習において優れた性能を発揮し、ターゲットホストの乗っ取りとネットワーク内でのフェートホールドの獲得というトレードオフを効果的にバランスさせた。
• CAGEベンチマークでは、ターゲットを乗っ取るための行動回数を削減するとともに、アクセス獲得数を増やしており、効率性と探索の深さが向上していることが示された。
• 本手法は、実際のペネトレーションテストシナリオにおける行動空間の拡大という課題を効果的に処理でき、事前条件に依存し、実行中に変化する行動の可用性に対応した。