[논문 리뷰] Inroads into Autonomous Network Defence using Explained Reinforcement Learning

Myles Foley, Mia Wang외 3명|arXiv (Cornell University)|2023. 06. 15.

Network Security and Intrusion Detection인용 수 4

한 줄 요약

이 논문은 설명 가능한 강화학습을 사용하여 공격자 행동을 시각화하고 의사결정을 향상시키는 계층적 딥 강화학습(DRL) 프레임워크를 제안한다. 히ュ리스틱 및 밴딧 기반의 두 가지 개선된 컨트롤러 아키텍처를 도입하여 이전 방법에 비해 방어 정확도를 크게 향상시켰으며, 특성 제거 분석과 SHAP 기반 설명 가능성 분석을 통해 검증되었다.

ABSTRACT

Computer network defence is a complicated task that has necessitated a high degree of human involvement. However, with recent advancements in machine learning, fully autonomous network defence is becoming increasingly plausible. This paper introduces an end-to-end methodology for studying attack strategies, designing defence agents and explaining their operation. First, using state diagrams, we visualise adversarial behaviour to gain insight about potential points of intervention and inform the design of our defensive models. We opt to use a set of deep reinforcement learning agents trained on different parts of the task and organised in a shallow hierarchy. Our evaluation shows that the resulting design achieves a substantial performance improvement compared to prior work. Finally, to better investigate the decision-making process of our agents, we complete our analysis with a feature ablation and importance study.

연구 동기 및 목표

• 인간 주도 네트워크 방어의 높은 운영 비용과 복잡성을 줄이기 위해 완전히 자율적이고 AI 기반의 방어 시스템을 구현한다.
• 보안 핵심 응용 분야에서 신뢰성과 개발을 저해하는 딥 강화학습 에이전트의 설명 불가능성 문제를 해결한다.
• 상태 다이어그램을 활용해 시각화된 공격자 행동의 통찰을 바탕으로 에이전트 아키텍처 설계에 영향을 주어 방어 성능을 향상시킨다.
• CybORG 환경에서 다양한 공격 전략을 탐지하고 완화하는 데서 베이스라인 모델을 능가하는 전문화된 서브에이전트와 컨트롤러를 개발한다.
• 학습 후 해석 가능성으로서 특성 제거 분석과 SHAP 분석을 통해 에이전트 의사결정에 가장 영향을 주는 관측 요소를 이해한다.

제안 방법

• CybORG 환경에서 공격자 행동을 시각화하고 분석하기 위해 상태 다이어그램을 사용하여 방어 설계에 적합한 핵심 간섭 지점을 식별한다.
• 특정 공격 유형에 대해 각각 PPO(근접 정책 최적화)를 통해 훈련된 전문화된 서브에이전트를 조율하는 컨트롤러를 포함한 계층적 DRL 아키텍처를 구현한다.
• 희소 보상 방어 시나리오에서의 탐색을 향상시키기 위해 내재적 호기심 모듈(ICM)을 통한 호기심 기반 탐색을 통합한다.
• 두 가지 개선된 컨트롤러 모델을 설계한다: 관측된 공격자 패턴에 기반한 히ュ리스틱 컨트롤러와 동적 전략 선택을 위한 밴딧 기반 컨트롤러.
• SHAP(SHapley Additive exPlanations)를 적용하여 학습 후 특성 중요도 분석을 수행하고 관측 공간 내에서 중요한 요소를 식별한다.
• 특성 제거 분석을 수행하여 개별 특성이 에이전트 성능에 미치는 영향을 평가하고, 모델의 강건성과 해석 가능성의 타당성을 검증한다.

Figure 1 : The CybORG environment showing the three subnets and their corresponding hosts and firewalls.

실험 결과

연구 질문

• RQ1 네트워크 방어 환경에서의 공격자 행동은 어떻게 시각화하고 분석할 수 있으며, 이를 통해 더 효과적인 방어 에이전트 설계에 기여할 수 있는가?
• RQ2 특화된 서브에이전트와 개선된 컨트롤러를 갖춘 계층적 DRL이 기존의 기준 모델에 비해 자율 네트워크 방어 과제에서 뛰어난 성능을 보일 수 있는가?
• RQ3 관측 공간 내 특정 특성이 방어 에이전트의 의사결정에 얼마나 영향을 주며, 성능에 가장 중요한 특성들은 무엇인가?
• RQ4 SHAP 및 특성 제거 분석과 같은 설명 가능한 인공지능(XAI) 기법은 디지털 방어 환경에서 DRL 에이전트 행동을 이해하는 데 어떻게 기여하는가?
• RQ5 내재적 호기심과 해석 가능성 기법을 훈련 파이프라인에 통합하면 더 강건하고 해석 가능한 방어 정책을 도출할 수 있는가?

주요 결과

• 제안된 히ュ리스틱 및 밴딧 기반 컨트롤러 아키텍처는 CybORG 환경 내 공격자 행동 분류에서 기존 기준 모델에 비해 뚜렷한 성능 향상을 달성한다.
• 특성 제거 분석 결과, '호스트 액세스' 특성이 방어 에이전트에게 가장 중요한 요소로 밝혀졌으며, 이 특성의 제거로 성능이 크게 떨어졌다.
• SHAP 분석은 '호스트 액세스' 특성이 에이전트 보상 결정에 가장 큰 영향을 주며, 그 다음으로 '서비스 상태'와 '프로세스 상태' 특성이 중요한 것으로 확인되었다.
• 밴딧 기반 컨트롤러를 갖춘 모델은 기준 모델과 PPO 전용 모델을 모두 능가하는 성능을 보이며, 적응형 전략 선택의 가치를 입증한다.
• 전반적인 중요도가 낮은 특성들, 예를 들어 '네트워크 연결' 역시 실패 복구 시나리오에서 의미 있는 기여를 하며 성능에 기여한다.
• SHAP 및 특성 제거 분석을 통한 학습 후 해석 가능성은 에이전트 의사결정에 대한 실질적인 통찰을 제공하여 신뢰도를 높이고 모델 개선을 촉진한다.

Figure 2 : Hierarchical structure of the overall defensive model including the specialist subagents.