[논문 리뷰] Multiple Domain Cyberspace Attack and Defense Game Based on Reward Randomization Reinforcement Learning

Lei Zhang, Yu Pan외 3명|arXiv (Cornell University)|2022. 05. 23.

Information and Cyber Security인용 수 4

한 줄 요약

이 논문은 신경강화학습을 활용한 다중 도메인 사이버 공격-방어 게임 모델을 제안하며, 특히 보상 랜덤화 DDPG 알고리즘을 통해 물리적, 네트워크적, 디지털 도메인에서 방어 정책 학습을 향상시킨다. 이 방법은 DDPG와 DQN 대비 15-20% 높은 방어 성공률을 달성하며, 확률적 보상 구조화를 통해 공격 성공률을 낮춘다.

ABSTRACT

The existing network attack and defense method can be regarded as game, but most of the game only involves network domain, not multiple domain cyberspace. To address this challenge, this paper proposed a multiple domain cyberspace attack and defense game model based on reinforcement learning. We define the multiple domain cyberspace include physical domain, network domain and digital domain. By establishing two agents, representing the attacker and the defender respectively, defender will select the multiple domain actions in the multiple domain cyberspace to obtain defender's optimal reward by reinforcement learning. In order to improve the defense ability of defender, a game model based on reward randomization reinforcement learning is proposed. When the defender takes the multiple domain defense action, the reward is randomly given and subject to linear distribution, so as to find the better defense policy and improve defense success rate. The experimental results show that the game model can effectively simulate the attack and defense state of multiple domain cyberspace, and the proposed method has a higher defense success rate than DDPG and DQN.

연구 동기 및 목표

• 기존 공격-방어 게임이 네트워크 도메인에만 집중하는 한계를 해결하기 위해, 본 연구는 프레임워크를 물리적, 네트워크적, 디지털 도메인으로 확장한다.
• 공격자와 방어자가 다중 사이버 도메인에서 상호작용하는 동적이고 다중 에이전트 게임 모델을 개발한다.
• 복잡하고 적대적인 환경에서 방어자가 강건하고 최적의 방어 정책을 학습할 수 있는 능력을 향상시킨다.
• 다중 도메인 사이버 게임에서 보상 랜덤화가 정책 탐색 및 방어 성능에 미치는 영향을 조사한다.

제안 방법

• 게임 모델은 두 에이전트(공격자 및 방어자)가 물리적, 네트워크적, 디지털 도메인에서 운영되는 0-합계 마르코프 결정 과정으로 수립된다.
• 방어자는 연속적인 행동 공간 학습을 위해 심층 결정적 정책 기반 강화학습(DDPG)을 사용하여 다중 도메인에서 행동을 선택함으로써 누적 보상을 최대화한다.
• 새로운 보상 랜덤화 메커니즘이 도입됨: 훈련 중에 방어자의 보상은 선형 분포에서 확률적으로 추출되어 다양한 방어 정책 탐색을 장려한다.
• 훈련 중 보상 랜덤화를 적용하여 불확실성을 시뮬레이션하고 다양한 공격 전략에 대한 강건성을 향상시킨다.
• 모든 세 도메인의 공동 상태를 포괄하는 공통 상태 표현을 사용하여 통합적인 의사결정을 가능하게 한다.
• 훈련은 세션당 100개의 에피소드로 구성되며, 각 에피소드는 최대 60단계의 시간 스텝을 시뮬레이션함. 보상은 각 행동 쌍(공격자, 방어자) 이후에 업데이트된다.

실험 결과

연구 질문

• RQ1 물리적, 네트워크적, 디지털 도메인을 통합함으로써 사이버 공격-방어 게임 모델링의 현실성과 복잡도는 어떻게 향상되는가?
• RQ2 DDPG에서의 보상 랜덤화는 다중 도메인 환경에서 방어자가 강건하고 일반화 가능한 방어 정책을 발견하는 데 어떤 영향을 미치는가?
• RQ3 제안된 보상 랜덤화 DDPG(RRDDPG) 방법은 공격 성공률과 방어자 보상 측면에서 표준 DDPG 및 DQN 대비 성능에서 어떻게 비교되는가?
• RQ4 확률적 보상 구조화는 적대적 사이버 시나리오에서 정책 탐색 및 방어 성공률 향상에 얼마나 기여하는가?

주요 결과

• 제안된 다중 도메인 공격-방어 게임 모델은 물리적, 네트워크적, 디지털 도메인에서 현실적인 사이버 대결 역학을 효과적으로 시뮬레이션한다.
• RRDDPG 방법은 DDPG 및 DQN 대비 낮은 공격 성공률(ASR)을 기록하여 우수한 방어 정책 학습 능력을 보였다.
• 방어자의 누적 보상(DR)은 훈련 에포크 동안 지속적으로 증가하여 학습 효율성 향상과 정책 수렴을 입증했다.
• 보상 랜덤화 메커니즘 덕분에 기존 DDPG 및 DQN 기반 방법 대비 방어 성공률이 15–20% 향상되었다.
• 모델은 복잡한 공격자 행동을 효과적으로 포착했으며, 향상된 탐색을 통해 다양한 공격 정책에 적응했다.
• 동적인 환경에서도 모델은 강건성을 유지했으며, 변화하는 공격 전략에 대비해 방어자 역시 높은 보상을 유지했다.