[論文レビュー] Multiple Domain Cyberspace Attack and Defense Game Based on Reward Randomization Reinforcement Learning

Lei Zhang, Yu Pan+3 more|arXiv (Cornell University)|May 23, 2022

Information and Cyber Security被引用数 4

ひとこと要約

本稿では、深層強化学習を用いて、物理的・ネットワーク的・デジタル的領域を含むマルチドメインのサイバー攻撃・防御ゲームモデルを提案する。具体的には報酬のランダム化を施したDDPGアルゴリズムを採用し、防御者の方策学習を強化する。この手法により、DDPGおよびDQNと比較して防御成功確率が15–20%向上し、確率的報酬形状の工夫によって攻撃成功確率が低下する。

ABSTRACT

The existing network attack and defense method can be regarded as game, but most of the game only involves network domain, not multiple domain cyberspace. To address this challenge, this paper proposed a multiple domain cyberspace attack and defense game model based on reinforcement learning. We define the multiple domain cyberspace include physical domain, network domain and digital domain. By establishing two agents, representing the attacker and the defender respectively, defender will select the multiple domain actions in the multiple domain cyberspace to obtain defender's optimal reward by reinforcement learning. In order to improve the defense ability of defender, a game model based on reward randomization reinforcement learning is proposed. When the defender takes the multiple domain defense action, the reward is randomly given and subject to linear distribution, so as to find the better defense policy and improve defense success rate. The experimental results show that the game model can effectively simulate the attack and defense state of multiple domain cyberspace, and the proposed method has a higher defense success rate than DDPG and DQN.

研究の動機と目的

• 既存の攻撃・防御ゲームがネットワーク領域に限定されているという限界を是正するため、本研究では物理的・ネットワーク的・デジタル的領域を含むフレームワークへ拡張する。
• 攻撃者と防御者が複数のサイバースペース領域で相互に作用する動的でマルチエージェントのゲームモデルを構築する。
• 複雑で敵対的な環境において、防御者が強固で最適な防御方策を学習する能力を向上させる。
• 報酬ランダム化がマルチドメインのサイバー戦略ゲームにおける方策探索と防御パフォーマンスに与える影響を調査する。

提案手法

• ゲームモデルは、攻撃者と防御者の2エージェントが関与するゼロサムのマルコフ決定過程として定式化され、物理的・ネットワーク的・デジタル的の3領域で動作する。
• 防御者は複数の領域にわたる行動を選択し、累積報酬を最大化する。行動空間が連続的であるため、深層決定的方策勾配（DDPG）を用いて学習を行う。
• 新規の報酬ランダム化メカニズムを導入：訓練中に防御者の報酬を線形分布から確率的に抽出することで、多様な防御方策の探索を促進する。
• 訓練中に報酬ランダム化を適用し、不確実性を模擬することで、多様な攻撃戦略に対する耐性を高める。
• すべての3領域の状態を統合した共有状態表現を用いることで、包括的な意思決定を可能にする。
• 訓練は1セッションあたり100エピソードで実施され、各エピソードは最大60ステップまでシミュレートされる。報酬は各行動ペア（攻撃者、防御者）の後に更新される。

実験結果

リサーチクエスチョン

• RQ1 物理的・ネットワーク的・デジタル的領域を統合することで、サイバー攻撃・防御ゲームのモデリングにおける現実性と複雑さはどのように変化するか？
• RQ2 DDPGにおける報酬ランダム化は、マルチドメイン環境における強固で一般化可能な防御方策の発見能力を防御者にどのように向上させるか？
• RQ3 提案手法である報酬ランダム化DDPG（RRDDPG）は、標準的なDDPGおよびDQNと比較して、攻撃成功確率および防御者報酬の観点でどの程度のパフォーマンス向上を達成するか？
• RQ4 確率的報酬形状は、敵対的サイバー状況における方策探索および防御成功にどの程度寄与するか？

主な発見

• 提案されたマルチドメイン攻撃・防御ゲームモデルは、物理的・ネットワーク的・デジタル的領域における現実的なサイバー紛争ダイナミクスを効果的にシミュレートできる。
• RRDDPG手法は、DDPGおよびDQNと比較して、攻撃成功確率（ASR）が低く抑えられ、優れた防御方策学習を示した。
• 防御者の累積報酬（DR）は訓練エポックを経て着実に増加し、学習効率の向上と方策収束の可能性を示した。
• 報酬ランダム化メカニズムにより、ベースラインのDDPGおよびDQN手法と比較して、防御成功確率が15–20%向上した。
• モデルは複雑な攻撃行動を的確に捉え、強化された探索により、変化する攻撃戦略に適応した。
• 動的環境においてもモデルは高いロバストネスを示し、進化する攻撃戦略に対しても防御者が高い報酬を維持した。