[논문 리뷰] Adversarial Reinforcement Learning under Partial Observability in Autonomous Computer Network Defence

Yi Han, David Hubczenko외 7명|arXiv (Cornell University)|2019. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 4

한 줄 요약

이 논문은 부분 관찰 조건 하에서 자율 사이버 방어를 위한 강화학습(RL) 에이전트를 대상으로 하는 원인 유도(adversarial) 공격에 대비하기 위해 역행 기반 방어 기법을 제안한다. 네트워크에 대한 시각화가 제한된 상태에서도 공격자는 상태의 변형을 통해 RL 학습을 오염시킬 수 있으며, 제안된 방법은 이러한 변형을 역행하여 공격 영향을 크게 감소시키지만, 공격가능성이 없는 상황에서는 성능 저하 없이 작동한다.

ABSTRACT

Recent studies have demonstrated that reinforcement learning (RL) agents are susceptible to adversarial manipulation, similar to vulnerabilities previously demonstrated in the supervised learning setting. While most existing work studies the problem in the context of computer vision or console games, this paper focuses on reinforcement learning in autonomous cyber defence under partial observability. We demonstrate that under the black-box setting, where the attacker has no direct access to the target RL model, causative attacks---attacks that target the training process---can poison RL agents even if the attacker only has partial observability of the environment. In addition, we propose an inversion defence method that aims to apply the opposite perturbation to that which an attacker might use to generate their adversarial samples. Our experimental results illustrate that the countermeasure can effectively reduce the impact of the causative attack, while not significantly affecting the training process in non-attack scenarios.

연구 동기 및 목표

• 공격자가 네트워크의 부분 관찰만 가능할 경우, 자율 사이버 방어를 위한 RL 에이전트가 원인 유도 공격에 취약한 점을 해결한다.
• 기존 연구에서 공격자와 방어자가 모두 완전한 관찰을 가진다는 가정을 했던 한계를 극복한다. 이는 실제 네트워크 환경에서는 비현실적이다.
• 기존 방법이 실패하는 부분 관찰 환경에서도 효과적인 방어 기법을 개발하며, 공격 패턴에 대한 사전 지식이 필요하지 않다.
• 공격가능성이 없는 학습 시나리오에서도 높은 성능을 유지하여 새로운 취약점을 유도하지 않는다.

제안 방법

• 비결정성 있는 네트워크 방어 문제를 강화학습 기반 DQN 기반 에이전트가 주요 서버를 보호하고 네트워크 연결성을 유지하도록 설계된 마르코프 결정 과정(MDP)으로 모델링한다.
• 공격자는 네트워크 구조에 대한 부분적인 지식만으로도 학습 중 관측된 상태를 변형하여 RL 에이전트를 오도하는 원인 유도 공격 모델을 도입한다.
• 학습 전 상태 입력에 대해 반대 방향의 변환을 적용함으로써 악성 변형을 탐지하고 역행하는 역행 기반 방어 기법을 설계한다.
• 공격자의 변형 전략에 대한 사전 지식 없이도 작동하며, 통계적 또는 구조적 역행 기반 기법을 통해 오염 효과를 중화한다.
• 공격자가 내부 모델 파rameter에 접근할 수 없는 블랙박스 공격 환경을 사용하여 실제 세계의 제약 조건을 시뮬레이션한다.
• 100개의 노드와 172개의 링크를 갖는 실용적인 SDN 기반 네트워크에서 두 가지 공격자 관찰 수준(전체 노드의 1/3 및 1/2)을 기반으로 방어 기법을 평가한다.

실험 결과

연구 질문

• RQ1 공격자가 네트워크에 대해 부분 관찰만 가능할 경우, 원인 유도 공격이 RL 학습을 효과적으로 오염시킬 수 있는가?
• RQ2 부분 관찰 조건이 상태 변형을 통한 RL 에이전트의 정책 조작 능력에 어떤 영향을 미치는가?
• RQ3 공격 패턴에 대한 사전 지식이 없이도 역행 기반 방어 기법이 원인 유도 공격에 효과적으로 대응할 수 있는가?
• RQ4 비공격 상황에서의 방어 기법 성능에 어떤 영향을 미치며, RL 에이전트의 학습 효율성은 유지되는가?

주요 결과

• 공격자가 네트워크에 대해 부분 관찰만 가능하더라도 상태 변형을 통해 RL 에이전트를 최적의 정책으로 이끌지 못하게 유도하는 원인 유도 공격이 성공적으로 작용한다.
• 제안된 역행 방어 기법은 원인 유도 공격의 성공률을 크게 감소시켜 RL 에이전트가 최적의 방어 전략을 학습할 수 있도록 복원한다.
• 비공격 상황에서의 학습 성능에 대해 방어 기법이 거의 영향을 주지 않으며, 에이전트의 학습 효율성을 유지한다.
• 공격자가 100개 노드 중 34개(1/3)만 관찰할 수 있는 상황에서도 기법이 효과를 유지하여 현실적인 부분 관찰 조건 하에서도 뛰어난 강건성을 보인다.
• 기존의 방어 기법이 실패하는 새로운 부분 관찰 환경에서 역행 기반 접근 방식이 더 뛰어난 성능을 보였다.
• 결과적으로 기존의 적대적 훈련 및 기타 방어 기법은 이 현실적인 위협 모델에서는 충분하지 않으며, 새로운 방어 전략의 필요성을 확인한다.