[논문 리뷰] Reinforcement Learning for Feedback-Enabled Cyber Resilience

Yunhan Huang, Linan Huang외 1명|arXiv (Cornell University)|2021. 07. 02.

Information and Cyber Security인용 수 4

한 줄 요약

이 논문은 포스트처, 정보 및 인간과 관련된 취약성 전반에서 알려진 위협과 제로데이 공격에 실시간으로 대응할 수 있는 강화학습(RL)-기반 피드백 아키텍처를 제안한다. 이는 이론적으로 RL이 이동 대상 방어 및 위장함과 같은 적응형 방어 메커니즘을 효과적으로 이끌 수 있음을 입증하며, 동시에 공격자가 보상, 관찰, 행동 조작을 통해 RL 자체의 취약성도 드러낸다.

ABSTRACT

Digitization and remote connectivity have enlarged the attack surface and made cyber systems more vulnerable. As attackers become increasingly sophisticated and resourceful, mere reliance on traditional cyber protection, such as intrusion detection, firewalls, and encryption, is insufficient to secure the cyber systems. Cyber resilience provides a new security paradigm that complements inadequate protection with resilience mechanisms. A Cyber-Resilient Mechanism (CRM) adapts to the known or zero-day threats and uncertainties in real-time and strategically responds to them to maintain critical functions of the cyber systems in the event of successful attacks. Feedback architectures play a pivotal role in enabling the online sensing, reasoning, and actuation process of the CRM. Reinforcement Learning (RL) is an essential tool that epitomizes the feedback architectures for cyber resilience. It allows the CRM to provide sequential responses to attacks with limited or without prior knowledge of the environment and the attacker. In this work, we review the literature on RL for cyber resilience and discuss cyber resilience against three major types of vulnerabilities, i.e., posture-related, information-related, and human-related vulnerabilities. We introduce three application domains of CRMs: moving target defense, defensive cyber deception, and assistive human security technologies. The RL algorithms also have vulnerabilities themselves. We explain the three vulnerabilities of RL and present attack models where the attacker targets the information exchanged between the environment and the agent: the rewards, the state observations, and the action commands. We show that the attacker can trick the RL agent into learning a nefarious policy with minimum attacking effort. Lastly, we discuss the future challenges of RL for cyber security and resilience and emerging applications of RL-based CRMs.

연구 동기 및 목표

• 고도의 지속적 위협(APTs)과 제로데이 공격에 대비한 기존 사이버 보호 기법의 한계를 해결한다.
• 알 수 없는 및 변화하는 위협에 실시간으로 적응할 수 있는 피드백 기반 사이버 리스크 저항성 메커니즘(CRM)을 개발한다.
• 환경에 대한 사전 지식 없이도 전략적이고 순차적인 반응이 가능한 강화학습(RL)을 CRM에 통합한다.
• RL 자체의 취약성을 특정하게 규명하고 분석한다. 특히 보상, 상태 관찰, 행동 명령 채널에서의 취약성에 초점을 맞춘다.
• 이동 대상 방어, 사이버 속임수 기반 기술, 보조 인간 보안 기술 분야에서 RL 기반 CRM의 새로운 응용 가능성을 탐색한다.

제안 방법

• 준비, 보호, 대응, 복구의 네 단계로 구성된 P2R2 CRM 프레임워크를 수립한다.
• 모델 프리 및 밸류 기반 RL 알고리즘(예: Q-학습, 딥 Q-네트워크)을 적용하여 동적 환경에서 최적의 방어 정책을 학습한다.
• 보안성과 사용성의 균형을 고려해 RL을 활용한 적응형 이동 대상 방어(MTD) 전략을 설계한다.
• Q-학습 기반 자가구성 허니팟을 구현하여 공격자 유인 및 속임수 효과를 극대화한다.
• 공격자에 의한 과도한 알림 공격(IDoS 공격 등)을 방지하기 위해 RL 기반 경고 및 주의 관리 시스템을 개발한다.
• 게임 이론적 프레임워크를 사용해 RL 구성 요소에 대한 악성 공격(보상 오염, 관찰 조작, 행동 명령 위조)을 모델링한다.

실험 결과

연구 질문

• RQ1 어떻게 RL을 피드백 아키텍처에 효과적으로 통합하여 실시간으로 적응 가능한 사이버 리스크 저항성을 달성할 수 있는가?
• RQ2 보상, 관찰 또는 행동 조작에 의해 악성 공격을 당했을 때, RL 기반 방어 시스템의 핵심 취약점은 무엇인가?
• RQ3 RL은 포스트처 관련, 정보 관련, 인간 관련 사이버 취약성에 대해 어떻게 리스크 저항성을 향상시키는가?
• RQ4 RL은 핵심 인프라에서 이동 대상 방어 및 방어적 속임수 전략을 어떻게 향상시킬 수 있는가?
• RQ5 피드백 신호 조작을 통해 RL 에이전트를 빛미기하기 위해 필요한 최소한의 공격 노력은 무엇인가?

주요 결과

• RL은 환경나 공격자 행동에 대한 사전 지식이 제한된 상태에서도 실시간으로 최적의 정책을 학습함으로써 효과적인 적응형 방어를 가능하게 한다.
• 보상 오염 공격는 최소한의 간섭로도 RL 에이전트가 열악한 정책이나 악성 정책을 학습하도록 유도할 수 있음을 입증한다.
• 공격자가 상태 관찰 또는 행동 명령을 조작하여 잘못된 결정을 유도할 수 있음을 입증하며, 이는 RL 기반 CRM의 본질적 취약성을 보여준다.
• RL 기반 이동 대상 방어 전략은 시스템 파라미터를 동적으로 재구성함으로써 보안성과 사용성 간의 균형을 향상시킨다.
• Q-학습을 통해 구성된 자가적응형 허니팟은 공격자 유인 시간과 탐지 정확도를 크게 향상시킨다.
• RL 기반 주의 관리 시스템은 고속도 침입 탐지 환경에서 알림 피로를 감소시키고 반응 효율을 향상시킨다.