[論文レビュー] Deep VULMAN: A Deep Reinforcement Learning-Enabled Cyber Vulnerability Management Framework

Soumyadeep Hore, Ankit Shah+1 more|arXiv (Cornell University)|Aug 3, 2022

Information and Cyber Security被引用数 5

ひとこと要約

Deep VULMAN は、不確実性下での時間的ステップにわたる限られたセキュリティリソースの動的割り当てを可能にする、深層強化学習（DRL）を活用した新たなサイバー脆弱性管理フレームワークを提案する。DRLエージェントによる適応的リソース割り当てと、脆弱性の優先順位付けのための整数計画法モデルを組み合わせることで、特に重要な資産、アラート発動システム、保護が不十分なマシンにおいて、高価値の脆弱性を効果的に選別する。また、戦略的なリソースの節約により、将来の攻撃の増加を予測可能となる。

ABSTRACT

Cyber vulnerability management is a critical function of a cybersecurity operations center (CSOC) that helps protect organizations against cyber-attacks on their computer and network systems. Adversaries hold an asymmetric advantage over the CSOC, as the number of deficiencies in these systems is increasing at a significantly higher rate compared to the expansion rate of the security teams to mitigate them in a resource-constrained environment. The current approaches are deterministic and one-time decision-making methods, which do not consider future uncertainties when prioritizing and selecting vulnerabilities for mitigation. These approaches are also constrained by the sub-optimal distribution of resources, providing no flexibility to adjust their response to fluctuations in vulnerability arrivals. We propose a novel framework, Deep VULMAN, consisting of a deep reinforcement learning agent and an integer programming method to fill this gap in the cyber vulnerability management process. Our sequential decision-making framework, first, determines the near-optimal amount of resources to be allocated for mitigation under uncertainty for a given system state and then determines the optimal set of prioritized vulnerability instances for mitigation. Our proposed framework outperforms the current methods in prioritizing the selection of important organization-specific vulnerabilities, on both simulated and real-world vulnerability data, observed over a one-year period.

研究の動機と目的

• 脆弱性の増加とセキュリティチームのリソース制限という現状のサイバー脆弱性管理におけるギャップを是正すること。
• 現在の脆弱性優先順位付け手法における決定論的かつ一回限りの意思決定の限界を克服すること。
• 未定の将来の脆弱性到着を考慮した、適応的で逐次的なリソース割り当てを可能にすること。
• インシデント検知システム（IDS）アラート、資産の重要度、保護レベルなど、多様なシステムコンテキスト要因を脆弱性優先順位付けに統合すること。
• 現実のリソース制約環境において、組織のセキュリティ体制を強化する、強固でデータドリブンなフレームワークの開発

提案手法

• DRLエージェントは、実世界の脆弱性およびシステムデータを用いたシミュレーテッドCSOC環境で訓練され、時間的ステップにわたる近似的最適なリソース割り当てポリシーを学習する。
• DRLエージェントは、マーカフ決定過程（MDP）フレームワーク内で動作し、ホストタイプ、保護レベル、IDSアラート状態などのシステムレベル属性を状態に含む。
• エージェントの行動空間は、各時間ステップごとのリソース割り当て数を定義し、報酬は、緩和された脆弱性の累積的ユーティリティによって設計される。
• リソースの可用性と多要因スコア（CVSS、資産価値、アラート信号など）に基づき、緩和対象の最適な脆弱性集合を選択するために整数計画法モデルが使用される。
• リアルタイムのシステムテレメトリ（インシデント検知アラート、ホストレベルのリスクプロファイルなど）が、DRLの状態表現および優先順位スコアの両方に影響を与える。
• DRLエージェントは、将来の高頻度の脆弱性到着を想定して、低到着期間中にリソースを節約するなど、非自明な前向きの戦略を学習する。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントは、不確実な脆弱性到着パターン下で、時間的ステップにわたる限られたセキュリティリソースをどのように動的に割り当てることができるか？
• RQ2 IDSアラート、資産の重要度などのコンテキスト要因を統合することで、脆弱性優先順位付けの正確性と有効性はどの程度向上するか？
• RQ3 DRLと整数計画法のハイブリッドアプローチは、従来のルールベースおよび静的最適化手法を上回って、高インパactsな脆弱性を効果的に選別できるか？
• RQ4 フレームワークは、1年間の脆弱性ライフサイクルにわたって、実世界およびシミュレーテッド環境でどのように性能を発揮するか？
• RQ5 予測される将来の脆弱性の増加に対して、DRLエージェントはどの戦略的行動（例：リソースの節約）を学習するか？

主な発見

• DRLエージェントは、将来の高頻度の脆弱性到着を予測し、早期の時間ステップでリソースを節約する能力を示し、非自明な前向きの意思決定を実現した。
• Deep VULMAN は、Webサーバーやデータベースサーバー、IDSアラート発動システムなど、高価値の資産における脆弱性の優先順位付けにおいて、既存手法を上回った。
• 保護が不十分なマシンからの脆弱性選別においても、優れた性能を発揮し、リスクカバレッジの向上を示した。
• DRLエージェントは適応的リソース割り当てを示し、低到着期間における過剰割り当てを低減するとともに、将来の増加に備えた準備を高めた。
• 1年間の期間にわたり、シミュレーテッドおよび実世界のデータにおいて、Deep VULMAN はベースライン手法と比較して、より多くの重要な脆弱性および組織的に関連性の高い脆弱性を選別した。
• DRLによるリソース割り当て後に整数計画法を統合することで、動的に割り当てられたリソースに基づき、最適な脆弱性選択が保証され、全体の緩和効用が向上した。