[논문 리뷰] Beyond CAGE: Investigating Generalization of Learned Autonomous Network Defense Policies

M. Wolk, Andy Applebaum외 9명|arXiv (Cornell University)|2022. 11. 28.

Network Security and Intrusion Detection인용 수 5

한 줄 요약

이 논문은 CAGE 챌린지에서 자율 네트워크 방어를 위한 Proximal Policy Optimization (PPO)-기반 강화학습(RL) 방법—계층적 RL, 액션 마스킹, 커스터마이징된 훈련, 앙상블 RL—을 평가한다. 앙상블 RL 접근 방식이 다른 방법들보다 뛰어났으며, 경쟁에서 2위를 기록했지만, 훈련된 바 없는 네트워크나 알려지지 않은 공격자 전략에 대해 테스트했을 때 모든 방법에서 성능 저하가 심각하게 나타나, 실세계 적용에서 일반화 및 내성 문제를 드러낸다.

ABSTRACT

Advancements in reinforcement learning (RL) have inspired new directions in intelligent automation of network defense. However, many of these advancements have either outpaced their application to network security or have not considered the challenges associated with implementing them in the real-world. To understand these problems, this work evaluates several RL approaches implemented in the second edition of the CAGE Challenge, a public competition to build an autonomous network defender agent in a high-fidelity network simulator. Our approaches all build on the Proximal Policy Optimization (PPO) family of algorithms, and include hierarchical RL, action masking, custom training, and ensemble RL. We find that the ensemble RL technique performs strongest, outperforming our other models and taking second place in the competition. To understand applicability to real environments we evaluate each method's ability to generalize to unseen networks and against an unknown attack strategy. In unseen environments, all of our approaches perform worse, with degradation varied based on the type of environmental change. Against an unknown attacker strategy, we found that our models had reduced overall performance even though the new strategy was less efficient than the ones our models trained on. Together, these results highlight promising research directions for autonomous network defense in the real world.

연구 동기 및 목표

• 다양한 PPO 기반 강화학습(RL) 방법의 효과성과 일반화 능력을 자율 네트워크 방어 환경에서 평가하는 것.
• 이러한 RL 기반 방어자가 훈련된 바 없는 네트워크 환경이나 예상치 못한 공격자 전략에 대응할 때 얼마나 잘 작동하는지 평가하는 것.
• 실제 기업 환경에서 RL 기반 네트워크 방어 에이전트를 구현할 때 발생하는 실용적 과제를 규명하는 것.
• 계층적 RL, 액션 마스킹, 앙상블 학습과 같은 다양한 아키텍처 및 훈련 기법의 내성과 성능을 비교하는 것.

제안 방법

• 연구는 핵심 RL 알고리즘으로 Proximal Policy Optimization(PPO)를 사용하며, 계층적 의사결정, 유효하지 않은 동작를 제한하기 위한 액션 마스킹, 커스터마이징된 훈련 스케줄을 포함한 수정 사항을 적용한다.
• 최종 동작가 다수결 투표를 통해 선택되는 PPO 기반 정책의 앙상블이 훈련되어 내성과 성능 향상을 도모한다.
• 모델들은 CybORG 고정밀 네트워크 시뮬레이션 환경에서 평가되며, 실기업 네트워크의 역동성을 시뮬레이션하기 위해 CAGE 챌린지의 시나리오 2를 사용한다.
• 일반화 능력을 평가하기 위해, 훈련 중에 볼 수 없었던 새로운 호스트 구성과 추가 공격 경로를 가진 수정된 네트워크 구조에서 모델을 테스트한다.
• 알 수 없는 공격자 전략에 대한 내성 평가를 위해, 훈련 시기의 적대자보다 효율은 낮지만 처음으로 등장하는 공격자 전략을 도입하여 실세계의 예측 불가능한 공격 환경을 시뮬레이션한다.
• 성능는 표준 CAGE 챌린지 지표인 방어자 점수, 공격 성공률, 네트워크 침범 탐지율을 사용해 측정된다.

실험 결과

연구 질문

• RQ1 다양한 PPO 기반 RL 아키텍처(예: 앙상블, 계층적, 마스킹)가 CAGE 챌린지 벤치마크에서 성능 면에서 어떻게 비교되는가?
• RQ2 이러한 RL 기반 방어자가 호스트 구성이 변경되거나 새로운 공격 경로가 추가된 훈련된 바 없는 네트워크 아키텍처에 대해 얼마나 잘 일반화되는가?
• RQ3 훈련 시기의 적대자보다 효율은 낮지만 더 예측 불가능한 새로운 공격 전략에 대응할 때 성능가 어떻게 저하되는가?
• RQ4 환경 변화나 새로운 적대적 행동에 노출되었을 때, RL 기반 방어자의 주요 실패 원인은 무엇인가?

주요 결과

• 다수결 투표를 통해 여러 PPO 정책을 조합하는 앙상블 RL 접근 방식이 가장 높은 성능를 기록했으며, CAGE 챌린지에서 2위를 차지했다.
• 모든 모델, 특히 상위 성능를 기록한 앙상블 모델까지도 훈련되지 않은 네트워크 환경에서 심각한 성능 저하를 보였다. 특히 호스트 구성 변경이 가장 큰 영향을 주었다.
• 성능 저하가 가장 심각했던 것은 알려지지 않은 공격자 전략에 대응했을 때였으며, 이는 공격 경로가 훈련 중에 볼 수 없었던 새로운 경로를 포함하고 있었고, 예측 불가능성이 증가했기 때문이다.
• 특히 앙상블 모델의 경우, 네트워크 구조적 변화에 더 민감하게 반응하여 성능 저하가 가장 심각했다.
• 시간 제약 조건은 모델 성능에 큰 영향을 주지 않았으며, 이는 이 설정에서 추론 지연이 제한 요소가 되지 않았음을 시사한다.
• 실세계 환경에 대한 일반화는 여전히 주요 과제이며, 최신 기술의 RL 방법들도 호스트 수, 네트워크 레이아웃, 공격 표면의 변화에 취약하다.