[논문 리뷰] Deep VULMAN: A Deep Reinforcement Learning-Enabled Cyber Vulnerability Management Framework

Soumyadeep Hore, Ankit Shah외 1명|arXiv (Cornell University)|2022. 08. 03.

Information and Cyber Security인용 수 5

한 줄 요약

Deep VULMAN은 불확실성 하에서 시간에 따라 제한된 보안 자원을 동적으로 할당하는 데에 딥 강화학습(DRL) 기반의 새로운 프레임워크를 제안한다. DRL 에이전트를 통한 적응형 자원 할당과 정수계획모델을 통한 취약성 우선순위 정하기를 조합함으로써, 특히 핵심 자산, 경고 트리거 시스템, 보호 수준이 낮은 머신에서 고가치 취약성을 더 잘 선택하는 데에 기여하며, 전략적 자원 절약을 통해 향후 공격 증가를 예측한다.

ABSTRACT

Cyber vulnerability management is a critical function of a cybersecurity operations center (CSOC) that helps protect organizations against cyber-attacks on their computer and network systems. Adversaries hold an asymmetric advantage over the CSOC, as the number of deficiencies in these systems is increasing at a significantly higher rate compared to the expansion rate of the security teams to mitigate them in a resource-constrained environment. The current approaches are deterministic and one-time decision-making methods, which do not consider future uncertainties when prioritizing and selecting vulnerabilities for mitigation. These approaches are also constrained by the sub-optimal distribution of resources, providing no flexibility to adjust their response to fluctuations in vulnerability arrivals. We propose a novel framework, Deep VULMAN, consisting of a deep reinforcement learning agent and an integer programming method to fill this gap in the cyber vulnerability management process. Our sequential decision-making framework, first, determines the near-optimal amount of resources to be allocated for mitigation under uncertainty for a given system state and then determines the optimal set of prioritized vulnerability instances for mitigation. Our proposed framework outperforms the current methods in prioritizing the selection of important organization-specific vulnerabilities, on both simulated and real-world vulnerability data, observed over a one-year period.

연구 동기 및 목표

• 증가하는 취약성 수와 제한된 보안 팀 간 격차가 심화되는 데에 대응하기 위해.
• 현재의 취약성 우선순위 정하기 방법에서의 결정론적이고 한 번성 결정의 한계를 극복하기 위해.
• 미래의 불확실한 취약성 도착을 고려한 적응형이고 순차적인 자원 할당을 가능하게 하기 위해.
• 다양한 시스템 컨텍스트(예: IDS 경고, 자산의 중요도, 보호 수준 등)를 취약성 우선순위 정하기에 통합하기 위해.
• 실제 자원 제약 환경에서 조직의 보안 수준을 향상시키는 견고하고 데이터 기반의 프레임워크를 개발하기 위해.

제안 방법

• 실제 취약성 및 시스템 데이터를 사용하여 시뮬레이션된 CSOC 환경에서 DRL 에이전트를 훈련시켜 시간 단위로 near-optimal 자원 할당 정책을 학습한다.
• DRL 에이전트는 마르코프 결정 과정(MDP) 프레임워크 내에서 작동하며, 호스트 유형, 보호 수준, IDS 경고 상태 등의 시스템 수준 속성이 상태에 포함된다.
• 에이전트의 행동 공간은 시간 단위당 할당되는 자원 수를 정의하며, 보상은 보완된 취약성의 누적 유용성에 따라 형성된다.
• 자원 가용성과 다중 요소 스코어링(CVSS, 자산 가치, 경고 신호 등)을 기반으로 보완할 최적의 취약성 집합을 선택하기 위해 정수계획모델을 사용한다.
• 실시간 시스템 텔레메트리, 즉 침입 탐지 경고와 호스트 수준의 위험 프로파일을 DRL 상태 표현과 우선순위 스코어링에 모두 반영한다.
• DRL 에이전트는 저도착 기간 동안 자원을 절약하여 향후 고도착 이벤트에 대비하는 비트레이드 오퍼티튜드 전략을 학습한다.

실험 결과

연구 질문

• RQ1 DRL 에이전트는 불확실한 취약성 도착 패턴 하에서 시간 단위로 제한된 보안 자원을 어떻게 동적으로 할당할 수 있는가?
• RQ2 IDS 경고, 자산 중요도 등의 시스템 컨텍스트 요소를 통합할 경우 취약성 우선순위 정하기의 정확성과 효과성이 얼마나 향상되는가?
• RQ3 하이브리드 DRL과 정수계획모델 접근법이 기존의 규칙 기반 및 정적 최적화 방법보다 고영향력 취약성을 더 잘 선택할 수 있는가?
• RQ4 프레임워크는 1년간의 취약성 라이프사이클 기간 동안 실제 환경과 시뮬레이션 환경 모두에서 어떻게 성능을 발휘하는가?
• RQ5 예상되는 향후 취약성 폭증에 대응해 DRL 에이전트는 어떤 전략적 행동(예: 자원 절약)을 학습하는가?

주요 결과

• DRL 에이전트는 향후 고도착 취약성 이벤트를 예측하고 초기 시간 단위에서 자원을 절약하는 데 성공하여, 비트레이드 오퍼티튜드 전략적 의사결정을 보여주었다.
• Deep VULMAN은 웹 서버, 데이터베이스 서버, IDS 경고가 있는 시스템을 포함한 고가치 자산의 취약성 우선순위 정하기에서 기존 방법을 능가했다.
• 보안 수준이 낮은 머신에서의 취약성 선택에서 뛰어난 성능을 기록하여 위험 커버리지 향상을 시사했다.
• DRL 에이전트는 자원 할당을 적응적으로 조정하여 저도착 기간 동안 과다 할당을 줄이고 향후 공격 증가에 대비한 준비성을 높였다.
• 1년간의 시뮬레이션 및 실제 데이터에서, Deep VULMAN은 베이스라인 방법 대비 더 많은 핵심 및 조직적으로 관련성이 높은 취약성을 선택했다.
• DRL 자원 할당 이후 정수계획모델 통합을 통해 동적으로 할당된 자원 기반으로 최적의 취약성 선택이 보장되어 전체 보완 유용성이 향상되었다.