[論文レビュー] POMDPs Make Better Hackers: Accounting for Uncertainty in Penetration Testing

Carlos Sarraute, Olivier Buffet+1 more|arXiv (Cornell University)|Jul 31, 2013

Software Testing and Debugging Techniques参考文献 10被引用数 28

ひとこと要約

この論文では、ネットワーク構成の不確実性をモデル化し、スキャンとエクスプロイテーションのアクションを知的に統合するPOMDPベースのアプローチを提案している。これにより、攻撃の品質を維持したまま実行コストを顕著に削減する。ネットワークをサブネットワークに分解し、個々のマシン上でPOMDPを解くことで、スケーラブルかつほぼ最適な攻撃計画が達成され、グローバルPOMDP解と比較して平均1.96%の品質損失にとどまる。

ABSTRACT

Penetration Testing is a methodology for assessing network security, by generating and executing possible hacking attacks. Doing so automatically allows for regular and systematic testing. A key question is how to generate the attacks. This is naturally formulated as planning under uncertainty, i.e., under incomplete knowledge about the network configuration. Previous work uses classical planning, and requires costly pre-processes reducing this uncertainty by extensive application of scanning methods. By contrast, we herein model the attack planning problem in terms of partially observable Markov decision processes (POMDP). This allows to reason about the knowledge available, and to intelligently employ scanning actions as part of the attack. As one would expect, this accurate solution does not scale. We devise a method that relies on POMDPs to find good attacks on individual machines, which are then composed into an attack on the network as a whole. This decomposition exploits network structure to the extent possible, making targeted approximations (only) where needed. Evaluating this method on a suitably adapted industrial test suite, we demonstrate its effectiveness in both runtime and solution quality.

研究の動機と目的

• 古典的手法の限界に対処する。これは、高コストな事前スキャンに依存し、残存不確実性を扱えないことにある。
• ペネトレーションテストをPOMDPとしてモデル化することで、不完全な知識の下での推論と不確実性下での動的意思決定を可能にする。
• グローバルPOMDPモデルの指数的増大を避ける一方で、解の品質を保ちながらスケーラブルな分解手法を開発する。
• 現実的な産業用テストスイート上でアプローチを評価し、従来手法と比較して効率性と実用的妥当性の両面で優れた結果を示す。

提案手法

• 攻撃計画問題はPOMDPとしてモデル化され、状態は不確実なネットワーク構成を表し、アクションにはスキャンとエクスプロイテーションが含まれ、それぞれコストと報酬が関連づけられる。
• スキャンは不確実性を低減することで信念状態を更新するが、エクスプロイテーションはシステム状態を変更し、サービスのクラッシュなどの副作用を引き起こす可能性がある。
• ネットワークは双連結成分とサブネットワークに分解され、個々のマシンに対する攻撃は別個のPOMDPとして解き、階層的に組み合わせられる。
• 保守的な近似戦略により、全体方策が価値を過大評価することを避け、解の安全性を保証する。
• 4ALアルゴリズムは、必要最小限の場所でのターゲット近似を適用し、ネットワーク構造を活用して計算コストの爆発的増加を制限する。
• 信念状態は、既知の構成と最終ペネトレーションテストからの経過時間から初期化され、エクスプロイテーションの成功確率は確率的にモデル化される。

実験結果

リサーチクエスチョン

• RQ1 POMDPは、エクスプロイテーションとネットワークトポロジーの依存関係を捉えながら、不確実性下でのペネトレーションテストの計画問題として効果的に使用可能か？
• RQ2 POMDPベースの攻撃計画を、計算コストが著しく増大するリスクを避けて、現実的なネットワーク規模にスケーラブルに拡張可能か？
• RQ3 大規模POMDPをより小さなモジュラーなコンポーネントに分解する際、解の品質と実行時間のトレードオフはどのようになるか？
• RQ4 グローバルPOMDP解と比較して、提案された分解手法の攻撃効果性と効率性はどの程度か？

主な発見

• グローバルPOMDP解と比較して、4AL手法の平均品質損失はわずか1.96%であり、テストされた構成すべてで最大14.1%の損失にとどまる。
• 100台のマシンと100のエクスプロイテーションを含むネットワークに対しても、実行時間は37秒未満で、強力なスケーラビリティを示している。
• 事前スキャンプロセスへの依存を減らす一方で高い攻撃品質を維持するため、古典的手法に比べて顕著な性能向上を達成している。
• ネットワークサイズが増加するにつれて品質損失が増加し、1台のマシンでは-1.14%、6台のマシンでは4.37%にまで上昇するが、これは管理可能なトレードオフである。
• 包括的なスキャンの非効率性を避けるために、スキャンとエクスプロイテーションを知的にインターリーブすることで、従来手法を上回っている。
• ネットワーク構造、エクスプロイテーションの依存関係、および最終ペネトレーションテストからの経過時間に基づく信念更新を現実的にモデル化しており、産業用途への応用可能性が示唆される。