[論文レビュー] Two-dimensional Anti-jamming Mobile Communication Based on Reinforcement Learning

Liang Xiao, Guoan Han+4 more|arXiv (Cornell University)|Dec 19, 2017

Security in Wireless Sensor Networks参考文献 24被引用数 8

ひとこと要約

本稿では、周波数ホッピングとユーザー移動性を組み合わせた2次元の抗ジャミングモバイル通信システムを提案する。高速DQNにホットブートとマクロアクションを組み合わせることで、ジャミングやチャネルモデルの事前知識がなくても、モバイルデバイスが協力的ジャミングに対して自律的に抵抗できる。この手法は、グリーディベースラインと比較して学習速度が90%速く、SINRが84.7%向上し、動的環境下で92.1%高い利得を達成する。

ABSTRACT

By using smart radio devices, a jammer can dynamically change its jamming policy based on opposing security mechanisms; it can even induce the mobile device to enter a specific communication mode and then launch the jamming policy accordingly. On the other hand, mobile devices can exploit spread spectrum and user mobility to address both jamming and interference. In this paper, a two-dimensional anti-jamming mobile communication scheme is proposed in which a mobile device leaves a heavily jammed/interfered-with frequency or area. It is shown that, by applying reinforcement learning techniques, a mobile device can achieve an optimal communication policy without the need to know the jamming and interference model and the radio channel model in a dynamic game framework. More specifically, a hotbooting deep Q-network based two-dimensional mobile communication scheme is proposed that exploits experiences in similar scenarios to reduce the exploration time at the beginning of the game, and applies deep convolutional neural network and macro-action techniques to accelerate the learning speed in dynamic situations. Several real-world scenarios are simulated to evaluate the proposed method. These simulation results show that our proposed scheme can improve both the signal-to-interference-plus-noise ratio of the signals and the utility of the mobile devices against cooperative jamming compared with benchmark schemes.

研究の動機と目的

• 協力的ジャミングと強い干渉が存在する環境における従来のスプレッドスpectrum技術の限界を解決すること。
• 周波数ホッピングとユーザー移動性を活用して、より高い耐障害性を実現する動的抗ジャミング戦略を設計すること。
• ジャミング、干渉、チャネルモデルの事前知識がなくても、モバイルデバイスが最適な通信ポリシーを学習できるようにすること。
• 実世界のモバイル通信シナリオに一般的に見られる高次元状態空間において、学習速度を高速化すること。
• 深層強化学習を用いて、動的ジャミング条件下での信号品質と利得を向上させること。

提案手法

• 2次元抗ジャミングフレームワークにおける電力割り当てと移動性意思決定のためのマルコフ決定過程（MDP）をモデル化するために、深層Qネットワーク（DQN）を採用する。
• 高次元状態観測の圧縮と表現に、深層畳み込みニューラルネットワーク（CNN）を用い、状態空間の複雑さを低減する。
• 複数の時間ステップにわたる意思決定（電力と移動性）を1つのアクションにグループ化するマクロアクションを導入し、学習効率を向上させる。
• ホットブート技術により、類似したシナリオからの事前学習済みモデルを用いてCNNの重みを初期化し、初期探索時間を短縮する。
• 動的ゲームフレームワークを用いて、移動デバイスが進化するジャミング源や干渉源との試行錯誤による相互作用を通じて学習する。
• 本手法は、指揮命令配布、センシングレポート伝送、モバイルジャミング抵抗の3つの実世界シナリオで評価された。

実験結果

リサーチクエスチョン

• RQ1 事前知識がなく、ジャミングやチャネルモデルが不明な状況下でも、強化学習ベースのシステムが最適な抗ジャミング戦略を効果的に学習できるか？
• RQ2 周波数ホッピングとユーザー移動性を組み合わせることで、協力的ジャミングや干渉に対する耐障害性がどの程度向上するか？
• RQ3 ホットブートとマクロアクションの統合が、高次元の2次元抗ジャミング環境における学習速度をどの程度加速するか？
• RQ4 標準DQN、Q学習、グリーディベースラインと比較して、本提案の高速DQNベースの手法は性能と学習速度でどの程度優れているか？
• RQ5 移動するジャミングが位置を動的に変更する状況でも、本システムの耐障害性はどの程度高いか？

主な発見

• 高速DQNベースの手法は、標準DQNと比較して学習時間を90%短縮し、動的抗ジャミングゲームにおける収束を著しく高速化する。
• 64チャネルシステムにおいて、高速DQNベースの手法はグリーディベースラインと比較してSINRを84.7%向上する。
• 高速DQNベースの手法は、グリーディベースラインと比較して利得を92.1%向上させ、優れた長期的パフォーマンスを示す。
• 64チャネル環境下で、高速DQNベースの手法はDQNベースの手法と比較してSINRが12.8%高く、グリーディベースラインと比較して72.5%高い。
• ジャミングが200タイムスロットごとにランダムに移動する状況下でも、システムは高いパフォーマンスを維持し、SINRは0.6%低下、利得は1.1%低下にとどまる。
• 送信コストが0.1から0.3に上昇した場合、DQNベースの手法ではSINRが4.9%低下し、利得が63.3%減少するが、高速DQNベースの手法はコスト制約下でも優れたパフォーマンスを維持する。