[논문 리뷰] Deep Reinforcement Learning based Adaptive Moving Target Defense.

Taha Eghtesad, Yevgeniy Vorobeychik외 1명|arXiv (Cornell University)|2019. 11. 27.

Network Security and Intrusion Detection참고 문헌 7인용 수 9

한 줄 요약

이 논문은 부분 관측 마르코프 결정 과정(POMDP)으로서 MTD를 공식화하여, 적응형 이동 대상 방어(MTD) 전략을 최적화하기 위해 딥 강화 학습(DRL) 기반 접근법을 제안한다. 압축된 메모리 표현을 도입함으로써 학습 효율성이 크게 향상되고, 기존 전략 대비 공격 성공률 감소 측면에서 뛰어난 성능을 보인다.

ABSTRACT

Moving target defense (MTD) is a proactive defense approach that aims to thwart attacks by continuously changing the attack surface of a system (e.g., changing host or network configurations), thereby increasing the adversary's uncertainty and attack cost. To maximize the impact of MTD, a defender must strategically choose when and what changes to make, taking into account both the characteristics of its system as well as the adversary's observed activities. Finding an optimal strategy for MTD presents a significant challenge, especially when facing a resourceful and determined adversary who may respond to the defender's actions. In this paper, we propose finding optimal MTD strategies using deep reinforcement learning. Based on an established model of adaptive MTD, we formulate finding an MTD strategy as finding a policy for a partially-observable Markov decision process. To significantly improve training performance, we introduce compact memory representations. To demonstrate our approach, we provide thorough numerical results, showing significant improvement over existing strategies.

연구 동기 및 목표

• 불확실성과 적대적 적응 상황에서 최적의 MTD 동작을 동적으로 선택하는 데 도전하는 것.
• 부분 관측 마르코프 결정 과정(POMDP)으로서 MTD 전략 선택을 모델링하여 정보가 불완전한 상황에서도 보다 나은 의사결정을 내리는 것.
• 필수 상태 정보를 유지하면서 상태 공간 차원을 줄여 학습 효율성을 향상시키기 위해 압축된 메모리 표현을 도입하는 것.
• 실제 적대적 상황에서 기존 MTD 접근법과 비교하여 제안된 DRL 기반 전략의 성능을 평가하는 것.
• 종합적인 수치적 평가를 통해 방어 효과성을 크게 향상시킬 수 있음을 입증하는 것.

제안 방법

• 저자는 MTD 전략 선택 문제를 부분 관측 마르코프 결정 과정(POMDP)으로 모델링하여, 적대자 행동과 시스템 상태에 대한 불확실성을 반영한다.
• 최적의 MTD 동작 정책을 학습하기 위해 딥 Q네트워크(DQN)를 활용하여 관측에서부터 종단 간 학습을 가능하게 한다.
• 압축된 메모리 표현을 도입하여 이전 관측을 효율적으로 요약함으로써 상태 공간의 차원을 감소시키고 학습 속도를 향상시킨다.
• 학습 중에 탐색과 이용의 균형을 유지하면서 변화하는 적대자 행동에 적응할 수 있도록 DRL 에이전트를 학습시킨다.
• 환경 모델에 시스템 제약 조건과 적대자 반응 역학을 통합하여 이를 고려한다.
• 모의 적대적 상호작용을 통해 학습을 수행하며, 방어 효과성 반영 누적 보상에 따라 정책 최적화를 이끈다.

실험 결과

연구 질문

• RQ1 딥 강화 학습은 부분 관측 조건 하에서 적응형 MTD 전략을 효과적으로 학습하는 데 어떻게 적용될 수 있는가?
• RQ2 압축된 메모리 표현은 DRL 기반 MTD 정책의 학습 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 제안된 DRL 기반 MTD 전략은 기존 정적 또는 히우리스틱 MTD 전략 대비 공격 성공률 감소에 얼마나 효과적인가?
• RQ4 동적 위협 환경에서 DRL 에이전트는 변화하는 적대자 행동에 얼마나 잘 적응할 수 있는가?
• RQ5 제안된 방법은 복잡한 시스템 구성에 대해 확장 가능하며, 강력한 방어 성능 유지를 유지할 수 있는가?

주요 결과

• 제안된 DRL 기반 MTD 전략은 기존 히우리스틱 및 정적 MTD 전략 대비 공격 성공률 감소 측면에서 뚜렷한 우월성을 보였다.
• 압축된 메모리 표현은 정책 학습 과정에서 더 빠른 수렴과 향상된 학습 안정성을 이끌어냈다.
• 이 방법은 적대자 행동에 효과적으로 대응하여, 적응형 공격자 행동 조건에서도 높은 방어 효과성을 유지했다.
• 수치적 결과는 다양한 모의 공격 시나리오에서 일관된 성능 향상을 입증했다.
• 효율적인 상태 표현과 정책 학습 덕분에 복잡한 시스템 구성에 대해 잘 스케일링되었다.
• DRL 에이전트는 구성 변경 시점을 전략적으로 조율함으로써 시스템 가용성과 보안의 균형을 효과적으로 확보했다.