[논문 리뷰] Incorporating Deception into CyberBattleSim for Autonomous Defense

Erich C. Walter, Kimberly Ferguson‐Walter외 1명|arXiv (Cornell University)|2021. 08. 31.

Network Security and Intrusion Detection참고 문헌 17인용 수 4

한 줄 요약

이 논문은 마이크로소프트의 강화학습 기반 시뮬레이션 환경인 CyberBattleSim에 사이버 속임수—특히 해저드 허니팟과 가짜 자원—를 통합하여 자율 공격자 에이전트에 대한 영향을 평가한다. 결과적으로, 속임수 요소의 수를 늘리고 전략적으로 배치할 경우 공격자 누적 보상이 크게 감소하는 것으로 나타났으며, 이는 자동화된 사이버 공격을 시뮬레이션된 기업 네트워크 환경에서 효과적으로 차단할 수 있음을 보여준다.

ABSTRACT

Deceptive elements, including honeypots and decoys, were incorporated into the Microsoft CyberBattleSim experimentation and research platform. The defensive capabilities of the deceptive elements were tested using reinforcement learning based attackers in the provided capture the flag environment. The attacker's progress was found to be dependent on the number and location of the deceptive elements. This is a promising step toward reproducibly testing attack and defense algorithms in a simulated enterprise network with deceptive defensive elements.

연구 동기 및 목표

• 자율 사이버 방어 시뮬레이션 환경에 사이버 속임수 기법을 통합할 수 있는지 탐색하는 것.
• 해저드 허니팟과 가짜 자원과 같은 속임수 요소가 강화학습 기반 공격자들의 행동과 성공률에 미치는 영향을 정량화하는 것.
• 자기 복제가 가능한 동적 시뮬레이션 플랫폼을 제공하여 자율 방어 알고리즘에 대한 실험을 가능하게 하는 것.
• 향후 자율 방어 에이전트의 설계에 기여하기 위해 동적 속임수 기법을 적극적으로 배치하고 관리할 수 있는 방법을 제안하는 것.

제안 방법

• 네트워크 내에서 속임수 방어 요소를 시뮬레이션하기 위해 구성 가능한 해저드 허니팟과 가짜 자원을 CyberBattleSim 환경에 통합하였다.
• 공격자로 사용하기 위해 강화학습 에이전트(DQL, QTAB, CRED, RAND)를 배치하여 속임수에 대한 반응을 탐색하였다.
• 공격자 진전에 미치는 영향을 평가하기 위해 속임수 요소의 수와 배치 위치(앞단에 배치 vs. 뒷단에 배치)를 다양화하였다.
• 네트워크 침입 달성 정도를 성공 지표로 사용하여 시간에 따른 누적 보상 측정을 통해 공격자 성능을 평가하였다.
• 공격자 진행 경로를 분석하여 속임수 배치 최적 위치를 도출하기 위해 네트워크 경로 유추 기법을 사용하였다.
• 다양한 보상 함수(RAND, CRED, QTAB, DQL)를 평가하여 다양한 학습 전략에서 공격자들이 속임수에 얼마나 민감한지 분석하였다.

실험 결과

연구 질문

• RQ1 CyberBattleSim에서 강화학습 기반 공격자들의 누적 보상에 대해 속임수 요소(가짜 자원과 해저드 허니팟)의 수가 어떻게 영향을 미치는가?
• RQ2 속임수 요소의 공간적 배치(앞단에 배치 vs. 뒷단에 배치)는 공격자 행동과 성공률에 어떻게 영향을 미치는가?
• RQ3 어떤 종류의 공격자(DQL, CRED, QTAB 등)가 속임수에 가장 크게 영향을 받는가? 그 이유는 무엇인가?
• RQ4 속임수는 자율 방어자가 공격자를 사전에 차단할 수 있도록 하는 고신뢰도의 초기 경고 메커니즘으로 기능할 수 있는가?
• RQ5 자율 방어자는 동적 속임수 배치 전략을 어떻게 활용하여 방어 성과를 최적화할 수 있는가?

주요 결과

• 가짜 자원의 수를 늘일수록 모든 공격자 에이전트의 누적 보상이 유의미하게 감소하였으며, 특히 DQL 및 CRED 공격자에서 가장 두드러진 효과를 보였다.
• 네트워크 경로의 앞단에 배치된 전략적 속임수(프론트로드)가 뒷단에 배치된 경우보다 공격자 진전을 더 효과적으로 저지하는 것으로 나타났으며, 특히 DQL 및 QTAB 공격자에 대해 뚜렷한 효과를 보였다.
• 단일 가짜 자원을 스텝 3(AzureStorage) 또는 스텝 6(Azure Resource Manager)에 배치했을 때 CRED 및 QTAB 공격자가 방해를 받는 것으로 나타나, 전략적 배치가 특정 공격 전략을 효과적으로 차단할 수 있음을 시사한다.
• DQL 공격자는 스텝 1에 배치된 웹사이트 가짜 자원에 의해 영향을 받았으며, 이는 심층 강화학습 기반 공격자에게도 조기 속임수 전략이 효과적일 수 있음을 의미한다.
• 핵심 네트워크 접합점(예: 스텝 1 또는 스텝 6)에 해저드 허니팟을 배치할 경우 모든 공격자 유형에서 보상이 감소하여, 공격 지연 및 차단에 효과적임을 확인하였다.
• 보상 곡선의 표준편차 분석 결과, 속임수 효과가 일관되고 측정 가능함을 확인하였으며, 향후 연구를 위한 시뮬레이션 신뢰성에 기여한다.