[논문 리뷰] UAV-Aided Cellular Communications with Deep Reinforcement Learning Against Jamming

Xiaozhen Lu, Liang Xiao외 2명|arXiv (Cornell University)|2018. 05. 17.

UAV Applications and Optimization참고 문헌 15인용 수 17

한 줄 요약

이 논문은 스마트 저항 공격 하에서 네트워크 모델이나 저항 모델에 대한 사전 지식 없이 릴레이 전력을 최적화하는 딥 강화학습(DRL) 기반의 무인 항공기(UAV) 릴레이 기법을 제안한다. 딥 Q네트워크(DQN), 경험 재생, 전이 학습을 활용하여 UAV는 학습을 가속화하고, 기존 방법 대비 비트 오류율(BER)을 최대 99.7% 감소시키며 에너지 소비를 33.6% 절감하여 동적 환경에서 강력한 저항성 성능을 달성한다.

ABSTRACT

Cellular systems are vulnerable to jamming attacks, especially smart jammers that choose their jamming policies such as the jamming channel frequencies and power based on the ongoing communication policies and network states. In this article, we present an unmanned aerial vehicle (UAV) aided cellular communication framework against jamming. In this scheme, UAVs use reinforcement learning methods to choose the relay policy for mobile users in cellular systems, if the serving base station is heavily jammed. More specifically, we propose a deep reinforcement learning based UAV relay scheme to help cellular systems resist smart jamming without being aware of the jamming model and the network model in the dynamic game based on the previous anti-jamming relay experiences and the observed current network status. This scheme can achieve the optimal performance after enough interactions with the jammer. Simulation results show that this scheme can reduce the bit error rate of the messages and save energy for the cellular system compared with the existing scheme.

연구 동기 및 목표

• 동적 네트워크 상태와 적응형 저항 전략을 악용하는 스마트 저항 공격으로부터 셀룰러 시스템의 취약성을 해결하기 위해.
• 실시간 동적 환경에서 저항 모델과 네트워크 모델을 알지 못한 채 효과적으로 작동하는 UAV 보조 릴레이 시스템을 설계하기 위해.
• 기존 Q학습을 딥 강화학습과 전이 학습으로 대체하여 저항 릴레이 선택의 학습 시간과 에너지 소비를 줄이기 위해.
• 실제 UAV 보조 셀룰러 네트워크에서 흔히 발생하는 상태 추정 오차와 지연에 대한 시스템의 강건성을 향상시키기 위해.

제안 방법

• UAV는 BER, 채널 이득, 저항 전력과 같은 고차원 상태 공간을 압축하기 위해 컨volutional 신경망(CNN)을 활용한 딥 Q네트워크(DQN)를 사용한다.
• 경험 재생을 통해 과거의 상태-행동-보상 전이를 저장하고 재사용함으로써 학습 안정성 향상과 샘플 효율성 향상을 도모한다.
• 유사한 상황에서의 이전 저항 릴레이 경험을 활용해 CNN 가중치를 초기화함으로써 수렴 속도를 가속화하고 위험한 탐색을 줄인다.
• DQN이 출력하는 Q값을 기반으로 릴레이 전력을 선택하며, 이는 UAV의 유틸리티를 최대화하고 BER과 에너지 비용을 최소화한다.
• 시스템은 릴레이 결정을 마코프 결정 과정(MDP)으로 모델링하여 UAV와 저항자 간의 상호작용을 동적 게임으로 표현한다.
• 정적, 반응형, 스마트 저항자에 대해 평가하였으며, 저항자들은 낮은 저항 비용으로 UAV 유틸리티를 최소화하기 위해 강화학습을 사용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반의 UAV 릴레이 기법은 저항 모델이나 네트워크 모델에 대한 사전 지식 없이 최적의 릴레이 전력 선택을 달성할 수 있는가?
• RQ2 전이 학습은 동적 저항 릴레이 게임에서 학습 속도 향상과 에너지 소비 감소에 어떻게 기여하는가?
• RQ3 기존 기법인 HPUR 및 Q학습 대비 BER과 에너지 효율성에서 어떤 성능 향상이 이루어지는가?
• RQ4 실제 UAV 보조 셀룰러 네트워크에서 상태 추정 지연과 오차에 대해 제안된 기법은 얼마나 강건한가?

주요 결과

• 제안된 DRLUR 기법은 Q학습 기반 릴레이 알고리즘 대비 1000번째 타임슬롯에서 사용자 메시지의 비트 오류율(BER)을 99.7% 감소시켰다.
• HPUR 기준 벤치마크 대비 셀룰러 시스템의 에너지 소비를 33.6% 절감하였으며, 1500번째 타임슬롯에서 에너지 사용량은 24.6% 감소하였다.
• DRLUR는 장기적인 동적 릴레이 게임에서 이론적 게임 모델의 내쉬 균형에 수렴하여 안정적인 최적 성능을 보였다.
• 학습 시간은 84.6% 감소하였으며, DRLUR는 약 200개의 타임슬롯(0.22초) 내에 릴레이 전력을 최적화하는 데 성공했고, HPUR에 비해 훨씬 짧은 시간이 소요되었다.
• 상태 추정 지연과 오차에 덜 민감하여, 정규 분포를 따르는 추정 오차(σ = 1.5)가 존재하는 상황에서도 낮은 BER을 유지하였다.
• BER 성능 한계는 해석적으로 유도되었으며 시뮬레이션을 통해 검증되어 다양한 저항 조건 하에서도 기법의 신뢰성을 확인하였다.