[論文レビュー] UAV-Aided Cellular Communications with Deep Reinforcement Learning Against Jamming

Xiaozhen Lu, Liang Xiao+2 more|arXiv (Cornell University)|May 17, 2018

UAV Applications and Optimization参考文献 15被引用数 17

ひとこと要約

本稿では、ジャミングやネットワークモデルの事前知識が不要な状態で、スマートジャミング下におけるセルラー網におけるリレーパワー最適化を実現する深層強化学習（DRL）ベースのUAVリレーシステムを提案する。DQN、経験再生、トランスファーラーニングを活用することで、UAVは学習を加速させ、従来手法と比較してビット誤り率（BER）を最大99.7％低減し、33.6％のエネルギー節約を達成し、動的環境下でも高いジャミング耐性を示す。

ABSTRACT

Cellular systems are vulnerable to jamming attacks, especially smart jammers that choose their jamming policies such as the jamming channel frequencies and power based on the ongoing communication policies and network states. In this article, we present an unmanned aerial vehicle (UAV) aided cellular communication framework against jamming. In this scheme, UAVs use reinforcement learning methods to choose the relay policy for mobile users in cellular systems, if the serving base station is heavily jammed. More specifically, we propose a deep reinforcement learning based UAV relay scheme to help cellular systems resist smart jamming without being aware of the jamming model and the network model in the dynamic game based on the previous anti-jamming relay experiences and the observed current network status. This scheme can achieve the optimal performance after enough interactions with the jammer. Simulation results show that this scheme can reduce the bit error rate of the messages and save energy for the cellular system compared with the existing scheme.

研究の動機と目的

• 動的ネットワーク状態と適応的ジャミング戦略を用いるスマートジャミング攻撃に対して脆弱なセルラーシステムの課題に対処すること。
• リアルタイムの動的環境下で、ジャミングやネットワークモデルが未知の状態でも効果的に動作するUAV支援リレーシステムを設計すること。
• 従来のQ学習に代えて深層強化学習とトランスファーラーニングを導入することで、ジャミング防止リレーセレクションにおける学習時間とエネルギー消費を低減すること。
• 実用的なUAV支援セルラー網で一般的に見られる状態推定遅延や誤差に対して、システムの耐性を高めること。

提案手法

• UAVは、BER、チャネルゲイン、ジャミング電力などを含む高次元の状態空間を圧縮するため、畳み込みニューラルネットワーク（CNN）を用いた深層Qネットワーク（DQN）を採用する。
• 経験再生を用いることで、過去の状態-行動-報酬遷移を格納・再利用し、学習の安定性を向上させるとともに、サンプル効率を向上させる。
• トランスファーラーニングにより、類似した状況での既存のジャミング防止リレー経験を活用してCNNの重みを初期化することで、収束を加速させ、危険な探索を低減する。
• DQNが出力するQ値に基づきリレーパワーを決定し、UAVの利得を最大化するとともに、BERとエネルギーコストを最小化する。
• リレーデシジョンをマルコフ決定過程（MDP）として定式化し、UAVとジャミング者間の相互作用を動的ゲームとしてモデル化する。
• 静的、反応的、スマートジャミング者（低コストでUAVの利得を最小化するよう強化学習を用いて行動する）の3種類のジャミング環境下で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習ベースのUAVリレーシステムは、ジャミングやネットワークモデルの事前知識がなくても、最適なリレーパワー選択を達成できるか？
• RQ2 トランスファーラーニングは、動的ジャミング防止リレー対戦ゲームにおいて、学習速度の向上とエネルギー消費の低減にどのように寄与するか？
• RQ3 HPUR や Q学習といった既存手法と比較して、BERとエネルギー効率にどの程度の性能向上が得られるか？
• RQ4 実用的なUAV支援セルラー網において、状態推定遅延や誤差に対して、提案手法はどの程度の耐性を示すか？

主な発見

• 提案されたDRLURスキームは、1000回目のタイムスロットにおいて、Q学習ベースのリレーアルゴリズムと比較して、ユーザー情報のビット誤り率（BER）を99.7％低減した。
• HPURベンチマークと比較して、セルラー網全体のエネルギー消費を33.6％削減した。1500回目のタイムスロットでは、エネルギー消費が24.6％削減された。
• DRLURは、長時間にわたる動的リレー対戦ゲームにおいて、理論的ゲームモデルのナッシュ均衡に収束し、安定した最適性能を示した。
• 学習時間は84.6％短縮された—DRLURは約200タイムスロット（0.22秒）でリレーパワーを最適化したが、HPURと比較してはるかに長い時間がかかっていた。
• 状態推定遅延や誤差に対して感受性が低く、ガウス分布に従う推定誤差（σ = 1.5）が存在しても、BERは低く維持された。
• BER性能の上限は解析的に導出され、シミュレーションによる検証を通じて、さまざまなジャミング条件下でも本手法の信頼性が確認された。