[논문 리뷰] Two-dimensional Anti-jamming Mobile Communication Based on Reinforcement Learning

Liang Xiao, Guoan Han외 4명|arXiv (Cornell University)|2017. 12. 19.

Security in Wireless Sensor Networks참고 문헌 24인용 수 8

한 줄 요약

이 논문은 주파수 히핑과 사용자 이동성을 융합한 2차원 저잡음 이동 통신 시스템을 제안하며, 핫부팅과 매크로 액션을 적용한 빠른 딥 Q넷(DQN)을 사용하여 사전에 잡음 또는 채널 모델을 알지 못하는 상태에서도 이동 단말기가 협동 잡음 공격자와 간섭을 자율적으로 저항할 수 있도록 한다. 이 방법은 게으른 기준 대비 학습 속도를 90% 빠르게 하고, 신호 대 간섭 및 노이즈 비율(SINR)을 84.7% 향상시키며, 동적 환경에서 92.1% 높은 유틸리티를 달성한다.

ABSTRACT

By using smart radio devices, a jammer can dynamically change its jamming policy based on opposing security mechanisms; it can even induce the mobile device to enter a specific communication mode and then launch the jamming policy accordingly. On the other hand, mobile devices can exploit spread spectrum and user mobility to address both jamming and interference. In this paper, a two-dimensional anti-jamming mobile communication scheme is proposed in which a mobile device leaves a heavily jammed/interfered-with frequency or area. It is shown that, by applying reinforcement learning techniques, a mobile device can achieve an optimal communication policy without the need to know the jamming and interference model and the radio channel model in a dynamic game framework. More specifically, a hotbooting deep Q-network based two-dimensional mobile communication scheme is proposed that exploits experiences in similar scenarios to reduce the exploration time at the beginning of the game, and applies deep convolutional neural network and macro-action techniques to accelerate the learning speed in dynamic situations. Several real-world scenarios are simulated to evaluate the proposed method. These simulation results show that our proposed scheme can improve both the signal-to-interference-plus-noise ratio of the signals and the utility of the mobile devices against cooperative jamming compared with benchmark schemes.

연구 동기 및 목표

• 협동 잡음 공격자와 강한 간섭이 존재하는 환경에서 전통적인 확산 스펙트럼 기술의 한계를 해결하기 위해.
• 주파수 히핑과 사용자 이동성을 모두 활용하여 향상된 내성적 저항력을 확보하는 동적 저잡음 전략을 설계하기 위해.
• 이동 단말기가 잡음, 간섭 또는 채널 모델에 대한 사전 지식 없이 최적의 통신 정책을 학습할 수 있도록 하기 위해.
• 실제 이동 통신 환경에서 흔히 나타나는 고차원 상태 공간에서의 학습 속도를 가속화하기 위해.
• 딥 강화학습을 통해 동적 잡음 조건 하에서 신호 품질과 유틸리티를 향상시키기 위해.

제안 방법

• 2차원 저잡음 프레임워크에서 전력 할당 및 이동성 결정을 위한 마르코프 결정 과정(MDP)을 모델링하기 위해 딥 Q넷(DQN)을 사용한다.
• 고차원 상태 관측치를 압축하고 표현하기 위해 딥 컨volution 신경망(CNN)을 사용하여 상태 공간 복잡도를 감소시킨다.
• 다수의 시간 단계 결정(전력 및 이동성)을 하나의 동작으로 묶는 매크로 액션을 도입하여 학습 효율성을 향상시킨다.
• 유사한 상황에서 사전 학습된 모델을 사용하여 CNN 가중치를 초기화하는 핫부팅 기술을 적용하여 초기 탐색 시간을 단축시킨다.
• 동적 게임 프레임워크를 사용하여 이동 단말기가 변화하는 잡음 공격자 및 간섭원과의 시행착오적 상호작용을 통해 학습하도록 시스템을 훈련시킨다.
• 제안된 방법은 명령 전파, 감지 보고서 전송, 이동 잡음 저항의 세 가지 실세계 시나리오에서 평가된다.

실험 결과

연구 질문

• RQ1 강화학습 기반 시스템이 잡음 또는 채널 모델에 대한 사전 지식 없이 최적의 저잡음 전략을 효과적으로 학습할 수 있는가?
• RQ2 주파수 히핑과 사용자 이동성을 융합함으로써 협동 잡음 공격자와 간섭에 대한 내성적 저항력이 어떻게 향상되는가?
• RQ3 핫부팅과 매크로 액션의 통합이 고차원 2차원 저잡음 환경에서의 학습 속도를 얼마나 가속화하는가?
• RQ4 기본 DQN, Q-학습, 게으른 기준 대비 제안된 빠른 DQN 기반 방법은 성능 및 학습 속도에서 어떻게 비교되는가?
• RQ5 이동 잡음 공격자가 위치를 동적으로 변화시키는 상황에서도 시스템의 견고성은 어느 정도인가?

주요 결과

• 빠른 DQN 기반 방법은 표준 DQN 대비 학습 시간을 90% 단축시켜 동적 저잡음 게임에서 수렴 속도를 크게 향상시킨다.
• 64채널 시스템에서 빠른 DQN 기반 방법은 게으른 기반 방법 대비 신호 대 간섭 및 노이즈 비율(SINR)을 84.7% 향상시킨다.
• 빠른 DQN 기반 방법은 게으른 기반 방법 대비 유틸리티를 92.1% 향상시켜 장기적인 성능에서 열등함을 보여준다.
• 64채널 환경에서 빠른 DQN 기반 방법은 DQN 기반 방법 대비 12.8% 높은 SINR, 게으른 기반 방법 대비 72.5% 높은 SINR를 달성한다.
• 이동 잡음 공격자가 매 200단위 시간 슬롯마다 무작위로 이동하는 조건에서도 시스템은 강력한 성능 유지를 보이며, SINR은 0.6% 감소하고 유틸리티는 1.1% 감소한다.
• 단위 전송 비용이 0.1에서 0.3으로 증가할 경우 DQN 기반 방법은 SINR이 4.9% 감소하고 유틸리티는 63.3% 감소하지만, 빠른 DQN 기반 방법은 비용 제약 조건 하에서도 열등한 성능를 유지한다.