[論文レビュー] Path Design for Cellular-Connected UAV with Reinforcement Learning

Yong Zeng, Xiaoli Xu|arXiv (Cornell University)|May 9, 2019

UAV Applications and Optimization参考文献 12被引用数 6

ひとこと要約

本稿では、セルラーネットワークに接続された無人航空機（UAV）のミッション時間の最小化とセルラーカバレッジホールの回避を目的として、強化学習（RL）に基づくパス設計を提案する。時系列差分学習とタイルコーディングを用いた関数近似により、正確なモデル仮定を最小限に抑えつつ、生の信号強度データから直接学習が可能であり、複雑な都市環境において最適解に非常に近い性能を達成する。

ABSTRACT

This paper studies the path design problem for cellular-connected unmanned aerial vehicle (UAV), which aims to minimize its mission completion time while maintaining good connectivity with the cellular network. We first argue that the conventional path design approach via formulating and solving optimization problems faces several practical challenges, and then propose a new reinforcement learning-based UAV path design algorithm by applying \emph{temporal-difference} method to directly learn the \emph{state-value function} of the corresponding Markov Decision Process. The proposed algorithm is further extended by using linear function approximation with tile coding to deal with large state space. The proposed algorithms only require the raw measured or simulation-generated signal strength as the input and are suitable for both online and offline implementations. Numerical results show that the proposed path designs can successfully avoid the coverage holes of cellular networks even in the complex urban environment.

研究の動機と目的

• 従来の最適化ベースのUAVパス設計の限界、特に正確なチャネルモデルとグローバルな知識に依存する点を是正すること。
• 詳細な伝搬モデルやアンテナモデルを必要とせず、通信に配慮したトラジェクトリを自律的に学習可能なUAVの設計を実現すること。
• 生の信号測定値を用い、大きな状態空間を扱えるスケーラブルなRLベースの手法を開発すること。
• 現実の都市型セルラーネットワークにおけるUAVパスプランニングのオンラインおよびオフライン展開を支援すること。
• 不均一なセルラーカバレッジを持つ環境において、接続性を向上させ、ミッション完了時間を短縮すること。

提案手法

• ミッション時間と切断時間の重み付き和の最小化を目的としたマーカフ連鎖過程（MDP）としてUAVパス設計を定式化する。
• 経験から直接MDPの状態価値関数を学習するために、時系列差分（TD）学習法を適用する。
• 高解像度の空間グリッドに起因する大きな状態空間を扱うために、タイルコーディングを用いた線形関数近似を用いる。
• 明示的なチャネルモデルを不要とするために、生の測定値またはシミュレーション生成信号強度を唯一の入力として用いる。
• 合成データを用いたオフライン事前学習と、実飛行データを用いたオンラインファインチューニングの両方をサポートする。
• UAVの位置と信号強度を状態入力とし、水平面上での離散的移動ステップを行動として定義する。

実験結果

リサーチクエスチョン

• RQ1 正確なチャネルモデルに依存せずに、強化学習がセルラーカバレッジホールを回避するUAVトラジェクトリを効果的に学習できるか？
• RQ2 タイルコーディングを用いたTD学習と、完全なグローバルカバレッジ知識を前提とした価値反復法とを比較した場合、パス品質と収束性にどのような差が生じるか？
• RQ3 生の信号強度データのみで、複雑な都市環境において効果的なパスプランニングが可能になるまでの限界はどこか？
• RQ4 オフライン事前学習とオンラインファインチューニングの組み合わせが、RLベースのUAVパスプランニングにおけるサンプル効率をどの程度向上させるか？
• RQ5 UAVナビゲーションにおける関数近似を用いる場合、パス最適性と保守性のトレードオフはどのようなものか？

主な発見

• タイルコーディングを用いた提案されたTD学習法は、完全なグローバルカバレッジ知識を必要とする最適な価値反復解に非常に近いパス品質を達成する。
• 両方のTD学習手法とも、最適解に近い累積報酬に収束し、直接飛行のベンチマークよりも顕著に優れた性能を示す。
• 関数近似の課題により、細い接続ブリッジを発見するのが難しいため、TD学習とタイルコーディングで生成されたパスはより保守的であり、飛行距離が長くなる。
• 不完全またはシミュレーション生成の信号データであっても、都市環境におけるカバレッジホールを効果的に回避でき、ロバスト性を示す。
• シミュレーション生成データを用いた事前学習により、収束が早くなり、高価な実世界の経験の必要性が低減される。
• RLのサンプル非効率性を示唆するように、収束には数千エピソードを要するが、シミュレーションによる事前学習によりこれを緩和可能である。