[論文レビュー] Deep Reinforcement Learning for UAV Navigation through Massive MIMO

Hongji Huang, Yuchun Yang+4 more|arXiv (Cornell University)|Jan 30, 2019

UAV Applications and Optimization被引用数 1

ひとこと要約

本稿では、リアルタイム受信電力レベルに基づいて動的に最適なUAV-地上リンクを選択することで、マス・MIMOシステムにおけるUAVナビゲーションを最適化する深層Qネットワーク（DQN）ベースの強化学習フレームワークを提案する。本手法は、最適ナビゲーション方策のエンドツーエンド学習により、従来の手法と比較してより良好なカバレッジと高速な収束を達成する。

ABSTRACT

Unmanned aerial vehicles (UAVs) technique has been recognized as a promising solution in future wireless connectivity from the sky, and UAV navigation is one of the most significant open research problems, which has attracted wide interest in the research community. However, the current UAV navigation schemes are unable to capture the UAV motion and select the best UAV-ground links in real time, and these weaknesses overwhelm the UAV navigation performance. To tackle these fundamental limitations, in this paper, we merge the state-of-theart deep reinforcement learning with the UAV navigation through massive multiple-input-multiple-output (MIMO) technique. To be specific, we carefully design a deep Q-network (DQN) for optimizing the UAV navigation by selecting the optimal policy, and then we propose a learning mechanism for processing the DQN. The DQN is trained so that the agent is capable of making decisions based on the received signal strengths for navigating theUAVs with the aid of the powerful Q-learning. Simulation results are provided to corroborate the superiority of the proposed schemes in terms of the coverage and convergence compared with those of the other schemes.

研究の動機と目的

• 現在のUAVナビゲーション手法が動的かつ最適なUAV-地上リンクを選択する点での制限を解決すること。
• 深層強化学習を用いてUAVのリアルタイム意思決定を可能にすること。
• UAVを用いたマス・MIMOシステムにおけるネットワークカバレッジと収束速度を向上させること。
• DQNエージェントがUAV飛行方策を適応的に最適化できる学習メカニズムを設計すること。

提案手法

• 受信電力レベル指標（RSSI）に基づいて最適ナビゲーション方策を学習するための深層Qネットワーク（DQN）を設計する。
• DQNエージェントは、状態観測（例：RSSI）を行動意思決定（例：飛行方向または高度）にマッピングする強化学習フレームワークを用いて訓練される。
• 学習メカニズムは状態-行動ペアを処理し、Q値推定を更新して時間経過とともに方策選択を最適化する。
• 本システムは、DQNエージェントに豊富な空間多重性と信頼性の高いチャネル状態情報の提供を目的としたマス・MIMOを活用する。
• DQNは、カバレッジとリンク品質に関連する長期的累積報酬を最適化するために、シミュレーション環境で訓練される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、マス・MIMOネットワークにおけるリアルタイムUAVナビゲーションをどのように改善できるか？
• RQ2 状態入力として受信電力レベルを使用した場合、UAVリンク選択性能にどのような影響を与えるか？
• RQ3 提案されたDQNベースの手法は、従来のUAVナビゲーション手法と比較して、カバレッジと収束の点でどのように異なるか？
• RQ4 DQNエージェントは、変動するチャネル状態下でも、最適なUAV-地上リンクを適応的に選択する学習を可能にするか？

主な発見

• 提案されたDQNベースのナビゲーション方式は、シミュレーションにおいてベースライン手法と比較して優れたネットワークカバレッジを達成した。
• 学習プロセスは従来のナビゲーションアルゴリズムよりも高速に収束したため、訓練効率の向上が示された。
• DQNエージェントは、リアルタイムRSSIフィードバックに基づいて最適なUAV-地上リンクを選択する能力を正常に学習した。
• マス・MIMOと深層強化学習の統合により、UAVナビゲーションのロバスト性と適応性が向上した。