[論文レビュー] Deep Reinforcement Learning for Fresh Data Collection in UAV-assisted IoT Networks

Mengjie Yi, Xijun Wang+3 more|arXiv (Cornell University)|Mar 1, 2020

Age of Information Optimization参考文献 14被引用数 14

ひとこと要約

本稿では、時間およびエネルギー制約下で、情報の古さ（Age of Information, AoI）の重み付き和を最小化するための、UAV支援型IoTネットワークにおける深層強化学習（DRL）ベースのアルゴリズムを提案する。問題を有限ホライズンのマルコフ決定過程（MDP）として定式化することで、DRLエージェントは最適なUAV飛行経路とセンサの送信スケジューリングを学習し、AoIベースおよび距離ベースのポリシーといったベースライン手法と比較して、顕著にAoIを低減する。

ABSTRACT

Due to the flexibility and low operational cost, dispatching unmanned aerial vehicles (UAVs) to collect information from distributed sensors is expected to be a promising solution in Internet of Things (IoT), especially for time-critical applications. How to maintain the information freshness is a challenging issue. In this paper, we investigate the fresh data collection problem in UAV-assisted IoT networks. Particularly, the UAV flies towards the sensors to collect status update packets within a given duration while maintaining a non-negative residual energy. We formulate a Markov Decision Process (MDP) to find the optimal flight trajectory of the UAV and transmission scheduling of the sensors that minimizes the weighted sum of the age of information (AoI). A UAV-assisted data collection algorithm based on deep reinforcement learning (DRL) is further proposed to overcome the curse of dimensionality. Extensive simulation results demonstrate that the proposed DRL-based algorithm can significantly reduce the weighted sum of the AoI compared to other baseline algorithms.

研究の動機と目的

• エネルギー制約下のUAV支援型IoTネットワークにおいて、情報の新鮮さを維持する課題に取り組み、情報の古さ（AoI）の重み付き和を最小化すること。
• 時間およびエネルギー制約下で、UAVの飛行経路とセンサの送信スケジューリングを、有限ホライズンのマルコフ決定過程（MDP）として定式化すること。
• 高次元の状態空間に起因するMDPの解法における次元の呪いを、深層強化学習を用いて克服すること。
• UAVの移動性とセンサのスケジューリングを共同で最適化するDRLベースのアルゴリズムを設計し、情報の新鮮さを向上させること。
• ミッション中、UAVのエネルギーが非負のまま保たれることを保証するとともに、すべてのセンサのAoIを最小化すること。

提案手法

• UAV-IoTネットワークを、UAVの位置、センサのAoI、残存エネルギー、および時間の状態で表す有限ホライズンのMDPとしてモデル化する。
• 各タイムスロットにおける行動空間を、飛行方向の選択と、接続するセンサの選択として定義する。
• Q値関数を近似するため、2つの全結合層（200および256ニューロン）を備えたDeep Q-Network（DQN）を実装する。
• 経験再生とターゲットネットワークの技術を用いて、DQNの学習を安定化させ、収束性を向上させる。
• 高いAoIおよびエネルギー消費をペナルティとする報酬関数を用いて、DRLエージェントを訓練し、タイムリーかつ効率的なデータ収集を促進する。
• 環境ダイナミクスに、実世界のUAVエネルギーモデル（例えば、速度、高度、ローターの動力学に基づく消費電力）を統合する。

実験結果

リサーチクエスチョン

• RQ1 エネルギー制約下のUAV-IoTネットワークにおいて、UAVの飛行経路とセンサの送信スケジューリングをどのように共同最適化することで、AoIの重み付き和を最小化できるか？
• RQ2 提案されたDRLベースのアプローチは、AoIベースおよび距離ベースのヒューリスティックベースラインと比較して、AoI低減の観点でどの程度優れているか？
• RQ3 UAVのカバレッジ半径が平均AoIに与える影響は何か？空間的カバレッジと情報の新鮮さの間にはどのようなトレードオフがあるか？
• RQ4 センサ数の増加が、AoIおよびエネルギー効率の観点から、DRLベースのデータ収集アルゴリズムの性能に与える影響は何か？
• RQ5 深層強化学習は、UAV支援型IoTにおけるデータ収集の高次元状態空間および動的制約を効果的に処理できるか？

主な発見

• 提案されたDRLベースのアルゴリズムは、AoIベースおよび距離ベースのベースラインアルゴリズムと比較して、重み付きAoIの和において顕著な低減を達成した。
• センサ数を固定（N=3）した場合、UAVのカバレッジ半径Rを増加させると平均AoIが低下し、DRL手法は常にベースラインを上回った。
• センサ数が増加（N=3からN=10に）すると、すべてのアルゴリズムで平均AoIが上昇するが、DRLベースの手法はベースラインと比較してAoIの上昇割合が顕著に抑制された。
• カバレッジ半径Rが大きい場合、AoIベースのアルゴリズムもDRL手法とほぼ同等の性能を示した。これは、重複するカバレッジのおかげで、1回の飛行で複数のセンサからの効率的データ収集が可能になったためである。
• DRLエージェントは、AoI、エネルギー、時間制約をバランスよく学習し、Rの増加に伴い重み付きAoIの和が単調に減少する傾向を示した。一方、Nの増加に伴い、期待通りに単調に増加する傾向を示した。