[論文レビュー] A Model-Based, Decision-Theoretic Perspective on Automated Cyber Response

Lashon B. Booker, Scott Musman|arXiv (Cornell University)|Feb 20, 2020

Information and Cyber Security被引用数 6

ひとこと要約

本論文は、部分的に観測可能なマルコフ意思決定過程（POMDP）を用いて、AI駆動の防御システムがリアルタイムでリスクを考慮した、価値観に整合した意思決定を可能にする、モデルベースで意思決定理論的なフレームワークを提案する。システムのシミュレーションと、いつでも利用可能なオンラインプランナを統合することにより、高速に進行するサイバー脅威に対して自律的かつコスト・ベネフィット最適化された対応が可能となり、人間のオペレータの好みやミッション目標と整合する。

ABSTRACT

Cyber-attacks can occur at machine speeds that are far too fast for human-in-the-loop (or sometimes on-the-loop) decision making to be a viable option. Although human inputs are still important, a defensive Artificial Intelligence (AI) system must have considerable autonomy in these circumstances. When the AI system is model-based, its behavior responses can be aligned with risk-aware cost/benefit tradeoffs that are defined by user-supplied preferences that capture the key aspects of how human operators understand the system, the adversary and the mission. This paper describes an approach to automated cyber response that is designed along these lines. We combine a simulation of the system to be defended with an anytime online planner to solve cyber defense problems characterized as partially observable Markov decision problems (POMDPs).

研究の動機と目的

• 高速な攻撃シナリオにおける人間が関与するサイバー防御の限界を解消すること。
• 人間のオペレータの好みやミッション目標と整合する自律的でAI駆動のサイバー対応システムを可能にすること。
• 不確実性下での最適意思決定を可能にするために、サイバー防御を部分的に観測可能なマルコフ意思決定過程（POMDP）としてモデル化すること。
• シミュレーションとオンライン計画を活用して、リアルタイムでリスクを考慮した意思決定を可能にするフレームワークの構築。
• 自動化された対応が透明性があり説明可能であり、ユーザー定義のコスト・ベネフィットトレードオフに基づいていることを保証すること。

提案手法

• システムは、状態と敵対者の行動における不確実性を捉えるために、ターゲット環境をPOMDPとしてモデル化する。
• 防御下のシステムのシミュレーションを用いて、POMDPの状態遷移と観測モデルをモデル化する。
• 計算コストと解の品質のバランスを取るために、リアルタイムでポリシーを計算するいつでも利用可能なオンラインプランナを採用する。
• ユーザーが提供する好みは、POMDP内の報酬関数としてエンコードされ、リスクトレードオフとミッション目標を定義する。
• 新しい観測が得られるたびに応答を更新できるように、段階的決定が可能である。
• モデルベース推論と意思決定理論的最適化を統合し、自律的対応行動を導く。

実験結果

リサーチクエスチョン

• RQ1 自動化されたサイバー防御システムは、不確実性と時間的圧力の下でどのように最適な意思決定を下せるか？
• RQ2 AI駆動の対応は、どのように人間のオペレータの好みやミッション目標と整合させられるか？
• RQ3 シミュレーションとオンライン計画は、リアルタイムでモデルベースのサイバー防御を可能にする役割を果たすか？
• RQ4 意思決定理論的モデル（例：POMDP）は、実際のサイバー防御シナリオにどのように応用可能か？
• RQ5 動的で高速なサイバー防御環境において、いつでも利用可能な計画法の性能特性は何か？

主な発見

• このフレームワークにより、ユーザーが定義した好みやミッション目標と整合したリスクを考慮した意思決定が、自動化されたサイバー対応システムで可能になった。
• シミュレーションといつでも利用可能なオンライン計画の統合により、不確実性下でのリアルタイム意思決定が可能となった。
• 複雑なサイバー防御問題をPOMDPとしてモデル化し、実行可能なポリシーを有するという実現可能性が示された。
• ユーザーが提供する好みが報酬関数として効果的にエンコードされ、応答戦略のカスタマイズが可能となった。
• いつでも利用可能なプランナは、解の品質と計算コストのトレードオフを提供し、時間制約のある環境に適している。
• 形式的意思決定理論に基づいた透明性があり説明可能な応答が可能となり、信頼性と監査可能性が向上した。