[논문 리뷰] Adversarial jamming attacks and defense strategies via adaptive deep reinforcement learning

Feng Wang, Chen Zhong외 2명|arXiv (Cornell University)|2020. 07. 12.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 8

한 줄 요약

이 논문은 DRL 기반 동적 채널 접근을 수행하는 피해자 사용자에 대응하여 동적이고 적응형 딥 강화학습(DRL) 기반의 저격 공격을 제안하고, 세 가지 방어 전략—PID 제어를 통한 다각화 방어, 모방 공격자 기반 방어, 직교 정책—을 제시한다. 주요 기여는 직교 정책이 공격적 저격과 환경 변화를 구분함으로써 효과적인 공격 탐지가 가능하다는 것을 입증한 점이며, 특히 모방 기반 방어 전략은 공격 상황에서 최대 90%의 정확도를 달성한다.

ABSTRACT

As the applications of deep reinforcement learning (DRL) in wireless communications grow, sensitivity of DRL based wireless communication strategies against adversarial attacks has started to draw increasing attention. In order to address such sensitivity and alleviate the resulting security concerns, we in this paper consider a victim user that performs DRL-based dynamic channel access, and an attacker that executes DRLbased jamming attacks to disrupt the victim. Hence, both the victim and attacker are DRL agents and can interact with each other, retrain their models, and adapt to opponents' policies. In this setting, we initially develop an adversarial jamming attack policy that aims at minimizing the accuracy of victim's decision making on dynamic channel access. Subsequently, we devise defense strategies against such an attacker, and propose three defense strategies, namely diversified defense with proportional-integral-derivative (PID) control, diversified defense with an imitation attacker, and defense via orthogonal policies. We design these strategies to maximize the attacked victim's accuracy and evaluate their performances.

연구 동기 및 목표

• 무선 시스템에서 DRL 기반 동적 채널 접근에 대한 악성 저격 공격에 의한 보안 취약점을 해결하기 위해.
• DRL 기반 피해자 사용자와 DRL 기반 저격자 간의 상호작용을 동적이고 적응형 게임으로 모델링하여, 양 측이 서로의 행동에 대응해 학습하고 재학습하도록 하기 위해.
• 피해자 정확도를 향상시키기 위해 세 가지 새로운 방어 전략—PID 제어를 통한 다각화, 모방 공격자 기반 방어, 직교 정책—을 설계하고 평가하기 위해.
• 직교 정책를 진단 도구로 활용하여 채널 상태에서의 악성 저격 공격와 환경 변화를 구분할 수 있는 공격 탐지 메커니즘을 개발하기 위해.

제안 방법

• 공격자는 피해자의 채널 접근 정확도를 최소화하는 데 목적이 있는 동적 저격 정책을 학습하기 위해 딥 액터-크리틱 DRL 프레임워크를 사용한다.
• 피해자는 동적 다중채널 접근을 위한 DRL 에이전트를 활용하며, 방어 전략을 통합하여 공격자의 행동에 대한 강건성을 향상시킨다.
• PID 제어를 통한 다각화 방어는 사전에 공격자 모델링 없이 성능 지표 피드백을 이용해 실시간으로 채널 선택 확률을 조정한다.
• 모방 공격자 기반 방어는 공격자의 행동을 모방하는 서rogate DRL 에이전트를 훈련시어 피해자가 공격 패tern을 사전에 예측하고 대응할 수 있도록 한다.
• 직교 정책 기반 방어는 사전에 다수의 독립된 DRL 정책를 훈련시킨 후 공격자를 혼란스럽게 하기 위해 이들 정책 간 전환을 수행하며, 갑작스러운 정확도 하락을 기반으로 탐지 기능을 제공한다.
• 공격 탐지 전략은 직교 정책 하에서 정확도를 모니터링함으로써 구현된다: 급격한 하락은 저격을 의미하고, 서서히 회복되는 경우는 환경 변화를 시사한다.

실험 결과

연구 질문

• RQ1 제한된 저격 전력으로도 DRL 기반 저격자가 DRL 기반 피해자 사용자의 동적 다중채널 접근 성능을 효과적으로 악화시킬 수 있는가?
• RQ2 특히 사전에 공격자 모델링 없이도 다각화된 방어 전략이 악성 저격 상황에서 피해자 정확도를 어떻게 향상시키는가?
• RQ3 직교 정책는 방어 수단으로서의 기능 외에도 악성 공격와 환경 변화를 구분하는 진단 도구로 기능할 수 있는가?
• RQ4 다양한 방어 전략 간에 정확도, 훈련 오버헤드, 적응 가능성 간의 성능 트레이드오프는 어떠한가?
• RQ5 기타 전략과 비교했을 때, 방어 전략에 모방 공격자를 활용할 경우 강건성과 달 đạt 가능한 정확도 측면에서 어떤가?

주요 결과

• 최대 저격 전력의 30%만으로도 DRL 기반 공격자는 피해자의 채널 접근 정확도를 34.6%까지 낮추며, 높은 공격 효율성을 입증한다.
• PID 제어를 통한 다각화 방어는 공격자에 대한 사전 지식 없이도 피해자 정확도 39%를 달성하여, 알려지지 않은 공격 상황에서도 강건성을 입증한다.
• 모방 공격자 기반 방어 전략은 공격 상황에서 최대 90%의 정확도를 달성하여, 다양한 조건에서도 뛰어난 적응성과 내성성을 보인다.
• 직교 정책 기반 방어는 공격 기간 동안 피해자 정확도를 약 50% 수준으로 유지하며, 환경 변화 시 즉각적인 정확도 급락을 통해 효과적인 공격 탐지가 가능하다.
• 직교 정책 기반 방어는 신뢰할 수 있는 공격 탐지가 가능하다: 빠른 정확도 하락은 저격을 의미하고, 서서히 회복되는 경우는 환경 변화를 시사하여 적절한 방어 메커니즘으로의 동적 전환을 가능하게 한다.