[論文レビュー] Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges and Tabular Q-Learning

Fabio Massimo Zennaro, László Erdődi|arXiv (Cornell University)|May 26, 2020

Adversarial Robustness in Machine Learning参考文献 8被引用数 26

ひとこと要約

この論文は、報酬が疎な状態や複雑な行動空間を伴う、強化学習（RL）の応用に適した状況を模倣するため、キャプチャ・ザ・フラッグ（CTF）ハッキングチャレンジを強化学習（RL）の環境としてモデル化する。表形式のQ学習を用いて、RLによるペネトレーションテストの自動化の可能性を示し、行動空間設計、報酬の疎らさ、状態表現に関する重要な課題を明らかにした。これらの課題は、より広範なRLベースのペネトレーションテスト応用に向けた障壁となる。

ABSTRACT

Penetration testing is a security exercise aimed at assessing the security of a system by simulating attacks against it. So far, penetration testing has been carried out mainly by trained human attackers and its success critically depended on the available expertise. Automating this practice constitutes a non-trivial problem, as the range of actions that a human expert may attempts against a system and the range of knowledge she relies on to take her decisions are hard to capture. In this paper, we focus our attention on simplified penetration testing problems expressed in the form of capture the flag hacking challenges, and we apply reinforcement learning algorithms to try to solve them. In modelling these capture the flag competitions as reinforcement learning problems we highlight the specific challenges that characterize penetration testing. We observe these challenges experimentally across a set of varied simulations, and we study how different reinforcement learning techniques may help us addressing these challenges. In this way we show the feasibility of tackling penetration testing using reinforcement learning, and we highlight the challenges that must be taken into consideration, and possible directions to solve them.

研究の動機と目的

• 制御された、簡素化された環境において、強化学習を用いたペネトレーションテストの自動化の可能性を検討すること。
• CTFハッキングチャレンジを、RL学習に適したマークフ・決定過程としてモデル化すること。
• RLをペネトレーションテストに適用する際の核心的課題、特に報酬の疎らさや複雑な行動空間の観点から、それらを特定・分析すること。
• 異なるRL手法が、シミュレートされたCTFシナリオにおいてこれらの課題をどのように克服できるかを評価すること。

提案手法

• 著者らは、エージェントが段階的な行動を通じて脆弱性を悪用するのを学習する環境として、グリッド・ワールドに類似した環境をモデル化した。
• 関数近似を用いない状態-行動価値推定のため、表形式のQ学習アルゴリズムを採用した。
• 環境は、システム構成を表す離散的状態と、脆弱性の利用や情報収集を表す行動から構成された。
• 行動空間には、スキャン、脆弱性の利用、特権昇格といった一般的なペネトレーションテスト操作が含まれる。
• 成功したフラッグの取得にのみ報酬が与えられ、実世界の攻撃成功を模倣する。
• 学習性能と安定性を評価するために、複数のCTFシナリオ（複雑さの異なるもの）で実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、簡素化されたCTF環境において、ペネトレーションテストのタスクを効果的に学習できるか？
• RQ2 行動空間と報酬設計の観点から、ペネトレーションテストをRL問題としてモデル化するにあたり、主な課題は何か？
• RQ3 異なるRLハイパーパrameterと環境設計は、学習収束と成功確率にどのように影響するか？
• RQ4 深層ニューラルネットワークを用いずに、表形式のQ学習がCTFチャレンジをどの程度解けるか？

主な発見

• 表形式のQ学習を用いた強化学習は、基本的なCTFチャレンジを効果的に解けることが示され、簡素化された環境におけるペネトレーションテストの自動化の可能性を裏付けた。
• 学習プロセスは報酬設計に極めて敏感であり、報酬が疎であると収束が著しく遅くなる。
• 行動空間の設計は学習効率に大きな影響を与え、過大または不適切に構造化された空間は性能を著しく低下させる。
• より単純なCTFシナリオで学習したエージェントは、より複雑なシナリオへの一般化が著しく劣るため、移行性の限界が明らかになった。
• 本研究では、状態表現と行動の抽象化が、実世界への展開に向けたさらなる研究を要する主要な課題であると特定した。
• 限界は存在するが、結果から、RLは制御されたルールベースのペネトレーションテスト環境において、攻撃的行動を学習できることを示した。