[論文レビュー] Inroads into Autonomous Network Defence using Explained Reinforcement Learning

Myles Foley, Mia Wang+3 more|arXiv (Cornell University)|Jun 15, 2023

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本稿では、攻撃者行動の可視化と意思決定の向上を目的とした、説明可能な強化学習（DRL）を用いた階層的深層強化学習（DRL）フレームワークを提案する。特徴のアブレーションとSHAPベースの説明可能性分析を通じて検証された、ヒューリスティックおよびバンディットベースの2つの強化されたコントローラー・アーキテクチャを導入し、従来手法を大きく上回る防御精度を達成した。

ABSTRACT

Computer network defence is a complicated task that has necessitated a high degree of human involvement. However, with recent advancements in machine learning, fully autonomous network defence is becoming increasingly plausible. This paper introduces an end-to-end methodology for studying attack strategies, designing defence agents and explaining their operation. First, using state diagrams, we visualise adversarial behaviour to gain insight about potential points of intervention and inform the design of our defensive models. We opt to use a set of deep reinforcement learning agents trained on different parts of the task and organised in a shallow hierarchy. Our evaluation shows that the resulting design achieves a substantial performance improvement compared to prior work. Finally, to better investigate the decision-making process of our agents, we complete our analysis with a feature ablation and importance study.

研究の動機と目的

• 人的なネットワーク防御の高い運用コストと複雑さに対処し、完全に自律的でAI駆動の防御システムを実現すること。
• セキュリティクリティカルな応用分野において信頼性と開発を阻害する、深層強化学習エージェントにおける説明可能性の欠如を克服すること。
• 状態図を用いて視覚化された敵対的行動のインサイトを活用し、エージェントアーキテクチャ設計に反映することで、防御性能を向上させること。
• CybORG環境において多様な敵対戦略を検出・緩和する能力を有する、特別なサブエージェントおよびコントローラーを開発すること。
• 特徴のアブレーションとSHAP分析を用いた事後解釈性を提供し、観測空間におけるどのコンponentsがエージェントの意思決定に最も影響を与えるかを理解すること。

提案手法

• CybORG環境における敵対的行動を可視化・分析するための状態図を用い、防御設計のための重要な干渉ポイントを同定する。
• 専用サブエージェントを統合する階層的DRLアーキテクチャを実装し、各サブエージェントは特定の攻撃タイプに特化してプロキシマル・ポリシー最適化（PPO）により訓練される。
• スパarsely報酬の防御シナリオにおける探索を向上させるために、内因的好奇心モジュール（ICM）を用いた好奇心駆動探索を統合する。
• 2つの改善されたコントローラー・モデルを設計：観測された敵対的パターンに基づくヒューリスティックコントローラーと、動的戦略選択を目的としたバンディットベースコントローラー。
• SHAP（SHapley Additive exPlanations）を用いて、事後特徴重要度分析を実施し、観測空間における重要な要素を同定する。
• 特徴のアブレーションスタディを実施し、個々の特徴がエージェント性能に与える影響を評価し、モデルのロバストネスと解釈可能性を検証する。

Figure 1 : The CybORG environment showing the three subnets and their corresponding hosts and firewalls.

実験結果

リサーチクエスチョン

• RQ1 ネットワーク防御環境における敵対的行動は、どのように可視化・分析可能であり、より効果的な防御エージェント設計にどのように寄与できるか？
• RQ2 専用サブエージェントと改善されたコントローラーを備えた階層的DRLは、既存のベースラインモデルを上回る性能を示せるか？
• RQ3 観測空間内の特定の特徴が、防御エージェントの意思決定にどの程度影響を与えるか、そして性能に最も寄与する特徴は何か？
• RQ4 SHAPやアブレーションスタディといった説明可能なAI（XAI）技術は、サイバー防御におけるDRLエージェント行動の理解をどのように向上させられるか？
• RQ5 内因的好奇心と説明可能性をトレーニングパイプラインに統合することで、よりロバストで解釈可能な防御ポリシーが得られるか？

主な発見

• 提案されたヒューリスティックおよびバンディットベースコントローラー・アーキテクチャは、CybORG環境内での敵対的行動分類において、ベースラインモデルを大幅に上回る性能向上を達成した。
• 特徴のアブレーションスタディから、『ホストアクセス』特徴が防御エージェントにとって最も重要であることが判明し、その削除は性能を著しく低下させた。
• SHAP分析により、『ホストアクセス』特徴がエージェント報酬の決定に最も影響を与えることが確認され、次いで『サービスステータス』および『プロセスステータス』特徴が続く。
• バンディットベースコントローラーを搭載したモデルは、ベースラインおよびPPOオンリーモデルを上回る性能を示し、適応的戦略選択の価値を裏付けた。
• 全体的な重要度が低い特徴（例：『ネットワーク接続』）ですら、特に障害回復シナリオにおいて、意味のある貢献を示した。
• SHAPとアブレーションを用いた事後解釈性により、エージェント意思決定の行動に実用的インサイトが得られ、信頼性の向上とモデルの最適化を促進した。

Figure 2 : Hierarchical structure of the overall defensive model including the specialist subagents.