[논문 리뷰] A Model-Based, Decision-Theoretic Perspective on Automated Cyber Response

Lashon B. Booker, Scott Musman|arXiv (Cornell University)|2020. 02. 20.

Information and Cyber Security인용 수 6

한 줄 요약

이 논문은 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)을 사용하여 실시간으로 위험을 고려한, 선호도에 부합하는 의사결정을 내릴 수 있도록 AI 기반 방어 시스템을 위한 모델 기반, 의사결정 이론적 프레임워크를 제안한다. 시스템 시뮬레이션과 언제든지 실행 가능한 온라인 플래너를 통합함으로써, 빠르게 변화하는 사이버 위협에 대해 자율적이고 비용-편익 최적화된 대응이 가능해지며, 인간 운영자 선호도와 임무 목표에 부합한다.

ABSTRACT

Cyber-attacks can occur at machine speeds that are far too fast for human-in-the-loop (or sometimes on-the-loop) decision making to be a viable option. Although human inputs are still important, a defensive Artificial Intelligence (AI) system must have considerable autonomy in these circumstances. When the AI system is model-based, its behavior responses can be aligned with risk-aware cost/benefit tradeoffs that are defined by user-supplied preferences that capture the key aspects of how human operators understand the system, the adversary and the mission. This paper describes an approach to automated cyber response that is designed along these lines. We combine a simulation of the system to be defended with an anytime online planner to solve cyber defense problems characterized as partially observable Markov decision problems (POMDPs).

연구 동기 및 목표

• 고속 공격 시나리오에서 인간이 개입하는 사이버 방어의 한계를 해결하기 위해.
• 인간 운영자 선호도와 임무 목표에 부합하는 자율적, AI 기반 사이버 방어 시스템을 가능하게 하기 위해.
• 불확실성 하에서 최적의 의사결정을 내리기 위해 사이버 방어를 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 모델링하기 위해.
• 시뮬레이션과 온라인 플래닝을 통해 실시간으로 위험을 고려한 의사결정을 지원하는 프레임워크 개발하기 위해.
• 자동화된 대응이 투명하고 설명 가능하며 사용자가 정의한 비용/편익 트레이드오프에 기반하도록 보장하기 위해.

제안 방법

• 시스템은 대상 환경을 POMDP로 모델링하여 시스템 상태와 적대행동의 불확실성을 포괄한다.
• 방어가 적용된 시스템의 시뮬레이션을 통해 POMDP의 상태 전이 및 관측 모델을 모델링한다.
• 계산 비용과 해의 품질의 균형을 고려하여 실시간으로 정책을 계산하기 위해 언제든지 실행 가능한 온라인 플래너를 사용한다.
• 사용자가 제공한 선호도는 POMDP의 보상 함수로 인코딩되어 위험 트레이드오프와 임무 목표를 정의한다.
• 신규 관측이 도착함에 따라 대응을 업데이트할 수 있도록 점진적 의사결정을 지원한다.
• 모델 기반 추론과 의사결정 이론 최적화를 통합하여 자율적 대응 행동을 안내한다.

실험 결과

연구 질문

• RQ1 자동화된 사이버 방어 시스템은 불확실성과 시간 압박 하에서 최적의 의사결정을 어떻게 내릴 수 있는가?
• RQ2 AI 기반 대응은 인간 운영자 선호도와 임무 목표와 어떻게 일치시킬 수 있는가?
• RQ3 시뮬레이션과 온라인 플래닝은 실시간 모델 기반 사이버 방어를 어떻게 가능하게 하는가?
• RQ4 의사결정 이론 모델인 POMDP는 사이버 방어 시나리오에 실제로 어떻게 적용될 수 있는가?
• RQ5 시간이 제한된 환경에서 언제든지 실행 가능한 플래닝의 성능 특성은 무엇인가?

주요 결과

• 프레임워크는 사용자가 정의한 선호도와 임무 목표에 부합하는 위험을 고려한 의사결정을 가능하게 하는 자동화된 사이버 대응 시스템을 지원한다.
• 시뮬레이션과 언제든지 실행 가능한 온라인 플래닝의 통합은 불확실성 하에서 실시간 의사결정을 지원한다.
• 이 접근법은 실행 가능한 정책을 포함한 복잡한 사이버 방어 문제를 POMDP로 모델링하는 데의 실현 가능성을 입증한다.
• 사용자가 제공한 선호도는 보상 함수로 효과적으로 인코딩되어 대응 전략의 맞춤화를 가능하게 한다.
• 언제든지 실행 가능한 플래너는 해의 품질과 계산 비용 사이의 트레이드오프를 제공하여 시간 제약이 있는 환경에 적합하다.
• 시스템은 공식적인 의사결정 이론에 기반한 투명하고 설명 가능한 대응을 지원하여 신뢰성과 감사 가능성을 향상시킨다.