[論文レビュー] The Agent Web Model -- Modelling web hacking for reinforcement learning

László Erdődi, Fabio Massimo Zennaro|arXiv (Cornell University)|Sep 23, 2020

Advanced Malware Detection Techniques参考文献 23被引用数 4

ひとこと要約

本論文は、7段階の抽象化レベルを経て、単純なものから複雑なものまで、Webペネトレーションテストを強化学習（RL）問題として形式化する「エージェントWebモデル」を紹介する。最初の3段階については、OpenAI Gym互換の実装が提供されており、倫理的な赤チーム作業のためのRLエージェントの標準化された訓練を可能にする。安全で制御された環境において、脆弱性の利用を通じてフラグを取得することに焦点を当てる。

ABSTRACT

Website hacking is a frequent attack type used by malicious actors to obtain confidential information, modify the integrity of web pages or make websites unavailable. The tools used by attackers are becoming more and more automated and sophisticated, and malicious machine learning agents seems to be the next development in this line. In order to provide ethical hackers with similar tools, and to understand the impact and the limitations of artificial agents, we present in this paper a model that formalizes web hacking tasks for reinforcement learning agents. Our model, named Agent Web Model, considers web hacking as a capture-the-flag style challenge, and it defines reinforcement learning problems at seven different levels of abstraction. We discuss the complexity of these problems in terms of actions and states an agent has to deal with, and we show that such a model allows to represent most of the relevant web vulnerabilities. Aware that the driver of advances in reinforcement learning is the availability of standardized challenges, we provide an implementation for the first three abstraction layers, in the hope that the community would consider these challenges in order to develop intelligent web hacking agents.

研究の動機と目的

• Webペネトレーションテストを強化学習問題として形式化し、倫理的なハッキングのための知能を持つエージェントの訓練を可能にすること。
• RLエージェントの訓練に適した標準的でスケーラブルなチャレンジの不足に対処すること。
• Webの脆弱性と攻撃表面の複雑さが増すのを捉える階層的抽象化モデル（7段階）を開発すること。
• 再利用可能でカスタマイズ可能かつ倫理的なベンチマークを提供し、現実のWebハッキングタスクにおけるRLエージェントの訓練を可能にすること。
• CTFスタイルのチャレンジをRL形式主義と一致させることで、機械学習とサイバーセキュリティ研究者の間の協力を促進すること。

提案手法

• エージェントWebモデルは、Webハッキングをマーカフ・決定過程（MDP）として形式化し、状態はウェブサイトの構成を表し、行動はHTTPリクエストを表す。
• 7段階の抽象化レベルを定義しており、各レベルでオブジェクト（例：ファイル、パラメータ、セッション）の数、行動、攻撃表面の要素が増加することで複雑性が上昇する。
• 各レベルは、CTFスタイルのゲームフレームワーク内において、特定の脆弱性クラス（例：SQLインジェクション、XSS、ファイルインクルージョン、特権昇格）をモデル化する。
• エージェントの行動（HTTPリクエスト）ごとに、新しい状態とフラグ取得や進行度に基づいた報酬信号が生成される状態遷移メカニズムを用いる。
• 最初の3つの抽象化レベルは、OpenAI Gymインタフェースを用いて実装されており、既存のRLアルゴリズムやトレーニングパイプラインとの統合を可能にする。
• チャレンジはパrametricに設定可能であり、多様でランダム化されたWebハッキングシナリオの生成が可能で、エージェントの強固な訓練が可能になる。

実験結果

リサーチクエスチョン

• RQ1 Webペネトレーションテストを、複数の抽象化レベルにわたって体系的に強化学習問題として形式化する方法は何か？
• RQ2 抽象化レベルの上昇が、RLエージェントの状態空間、行動空間、学習の難易度に与える影響は何か？
• RQ3 現実世界のリスクを伴わずに、現実のWeb脆弱性の訓練が可能な標準的でカスタマイズ可能かつ安全な環境を構築できるか？
• RQ4 異なる脆弱性タイプ（例：SQLi、XSS、RCE）は、エージェントWebモデル内の異なる強化学習問題構造にどのように対応するか？
• RQ5 提案されたフレームワークが、RLおよびサイバーセキュリティ研究の前進にどの程度ベンチマークとして機能できるか？

主な発見

• エージェントWebモデルは、7段階の抽象化レベルにわたり、状態空間と行動空間の複雑さが増す階層的強化学習問題として、Webハッキングを成功裏に形式化した。
• モデルの最初の3段階は、OpenAI Gymの基準に準拠した実装がなされており、既存のRLトレーニングパイプラインやアルゴリズムへの直接統合が可能である。
• 実装はパrametricに設定可能であり、エージェントのトレーニングに適した多様でランダム化されたが一貫性のあるWebハッキングチャレンジの生成を可能にする。
• 構造的な状態と行動の定義を通じて、現実世界の脆弱性の広い範囲（SQLインジェクション、XSS、ファイルインクルージョン、特権昇格など）をモデルが捉えている。
• フラグ取得の証明としての概念的実装に焦点を当て、破壊的攻撃を伴わない安全で倫理的かつ標準化された環境を提供する。
• 著者らは、このモデルが、とりわけ自動ペネトレーションテスト分野におけるRL研究の前進に向けた非自明な学習チャレンジの作成を可能にしていることを示した。