[論文レビュー] A Layered Reference Model for Penetration Testing with Reinforcement Learning and Attack Graphs

Tyler Cody|arXiv (Cornell University)|Jun 14, 2022

Information and Cyber Security被引用数 4

ひとこと要約

本論文は、攻撃グラフと実際のネットワークをシステム工学フレームワークを通じて統合することで、強化学習（RL）ベースのペネトレーションテストにおけるグランドイング問題に対処するための階層的レファレンスモデル（LRM-RAG）を提案する。このモデルはリアルタイム相互作用、現実的な敵対者エミュレーション、動的ネットワークへの適応を可能にし、RL駆動のサイバーディフェンスシステムの信頼性と実用的導入を向上させる。

ABSTRACT

This paper considers key challenges to using reinforcement learning (RL) with attack graphs to automate penetration testing in real-world applications from a systems perspective. RL approaches to automated penetration testing are actively being developed, but there is no consensus view on the representation of computer networks with which RL should be interacting. Moreover, there are significant open challenges to how those representations can be grounded to the real networks where RL solution methods are applied. This paper elaborates on representation and grounding using topic challenges of interacting with real networks in real-time, emulating realistic adversary behavior, and handling unstable, evolving networks. These challenges are both practical and mathematical, and they directly concern the reliability and dependability of penetration testing systems. This paper proposes a layered reference model to help organize related research and engineering efforts. The presented layered reference model contrasts traditional models of attack graph workflows because it is not scoped to a sequential, feed-forward generation and analysis process, but to broader aspects of lifecycle and continuous deployment. Researchers and practitioners can use the presented layered reference model as a first-principles outline to help orient the systems engineering of their penetration testing systems.

研究の動機と目的

• RLベースのペネトレーションテストにおけるネットワーク表現とグランドイングに関する合意の欠如が、システムの信頼性と信頼性に悪影響を及えるという問題に対処する。
• ライブネットワークとのリアルタイム相互作用、現実的な敵対行動モデリング、不安定または進化するネットワークトポロジーの取り扱いといった、主な課題を特定する。
• 従来のフィードフォワード攻撃グラフワークフローを越えて、RL駆動のペネトレーションテスト分野における研究・工学的取り組みを統合・誘導するシステムレベルのフレームワークを提供する。
• 攻撃グラフの包括的生成から分離することで、RLエージェントを実際のネットワークにより直接的かつ強固にグランドイングすることを可能にする。
• 生産環境におけるRLベースのペネトレーションテストシステムの継続的デプロイとライフサイクル管理を支援する。

提案手法

• RLと攻撃グラフを用いたペネトレーションテストを、地形、敵対者、タスク、MDP、実行の各抽象レイヤーに分ける階層的レファレンスモデル（LRM-RAG）を提案する。
• RLと攻撃グラフの相互作用を、順次的かつフィードフォワード的なプロセスではなく、エージェント学習とネットワーク適応の2つのネストされたループを含む、継続的かつフィードバック駆動のライフサイクルとして定式化する。
• 攻撃グラフ生成をRLエージェントのトレーニングから分離し、エージェントが包括的でないが動的に更新される攻撃経路の最小表現と相互作用できるようにする。
• 状態がネットワーク構成を表し、行動が攻撃試行を表すように、マルコフ決定過程（MDPs）をRLエージェントの意思決定をモデル化するコア形式とする。
• RL行動を現実のペネトレーションテスト操作に変換するネットワークインターフェースレイヤーを統合し、エージェントの実システムへの直接的グランドイングを保証する。
• ネットワーク状態間での転送学習およびメタラーニングを可能にし、進化するか不安定なネットワーク環境における一般化性とレジリエンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前に計算された包括的攻撃グラフに依存せずに、リアルタイムでRLエージェントを実際のネットワークに効果的にグランドイングする方法は何か？
• RQ2 特に動的ネットワーク条件下において、RLベースのペネトレーションテストシステム内で現実的な敵対行動エミュレーションを実現するメカニズムは何か？
• RQ3 ネットワークが急速に変化する場合、例えばSDNやIoT環境において、RLエージェントはどのようにして信頼性のあるグランドイングを維持できるか？
• RQ4 攻撃グラフ生成をRLトレーニングからどれだけ分離できるかが、効率性とスケーラビリティの向上に寄与するか？
• RQ5 MDPの定式化と表現選択が、RL駆動のペネトレーションテストシステムの信頼性と信頼性に与える役割は何か？

主な発見

• 包括的かつ要約された攻撃グラフは、RLにおいて「わらのなかの針」問題を引き起こし、計算コストを増加させるとともに、特定の問題を直接解くという原則に反する。
• RLエージェントはすべての可能な攻撃経路を探索する必要はない。代わりに、特定の攻撃テンプレートや敵対者プロファイルに一致する現実的な部分グラフを発見する重点を置くべきである。
• 手動で設計された報酬関数や高レベルの抽象化に依存するのではなく、リアルタイムのネットワークインターフェースレイヤーを通じた直接的グランドイングが、はるかに信頼性が高い。
• ネットワーク変更の速度がMDPの構築を上回る場合、動的で適応的なグランドイングが実装されない限り、表現が古くなり、エージェントのパフォーマンスが低下する。
• SDNやIoTシステムなどの動的ネットワークは、急速なトポロジーや設定の変更により、RLベースのペネトレーションテストに大きな課題をもたらす。
• 階層的レファレンスモデル（LRM-RAG）は、システム工学、攻撃グラフモデリング、RLエージェント設計の間のより良い整合性を実現し、継続的デプロイと適応を支援する。