[論文レビュー] Age of Information-Aware Radio Resource Management in Vehicular Networks: A Proactive Deep Reinforcement Learning Perspective

Xianfu Chen, Celimuge Wu+5 more|arXiv (Cornell University)|Aug 6, 2019

Age of Information Optimization参考文献 49被引用数 9

ひとこと要約

本稿では、部分的観測性と高次元状態空間を扱うためにLSTM強化された深層Qネットワーク（DQN）を用いた、車両通信ネットワークにおける年齢情報（AoI）に配慮した無線リソース管理のための能動的深層強化学習（DRL）フレームワークを提案する。この手法により、ローカルなVUEペア観測に基づく分散型でリアルタイムな周波数帯域割り当てとスケジューリングが可能となり、平均的利得が最先端のベースラインと比較して最大30%向上する。

ABSTRACT

In this paper, we investigate the problem of age of information (AoI)-aware radio resource management for expected long-term performance optimization in a Manhattan grid vehicle-to-vehicle network. With the observation of global network state at each scheduling slot, the roadside unit (RSU) allocates the frequency bands and schedules packet transmissions for all vehicle user equipment-pairs (VUE-pairs). We model the stochastic decision-making procedure as a discrete-time single-agent Markov decision process (MDP). The technical challenges in solving the optimal control policy originate from high spatial mobility and temporally varying traffic information arrivals of the VUE-pairs. To make the problem solving tractable, we first decompose the original MDP into a series of per-VUE-pair MDPs. Then we propose a proactive algorithm based on long short-term memory and deep reinforcement learning techniques to address the partial observability and the curse of high dimensionality in local network state space faced by each VUE-pair. With the proposed algorithm, the RSU makes the optimal frequency band allocation and packet scheduling decision at each scheduling slot in a decentralized way in accordance with the partial observations of the global network state at the VUE-pairs. Numerical experiments validate the theoretical analysis and demonstrate the significant performance improvements from the proposed algorithm.

研究の動機と目的

• 時間変動するトラフィックおよびチャネル状態を有する高移動性車両通信ネットワークにおける長期的パフォーマンス最適化の課題に対処する。
• 車両間通信（V2V）の分散型無線リソース管理（RRM）における次元の呪いと部分的観測性の課題を克服する。
• 年齢情報（AoI）を主要指標として用い、タイムリーな交通情報の新鮮さを維持する分散型で能動的なRRMアルゴリズムを設計する。
• 道路側装置（RSU）が、グローバルネットワーク状態の完全な情報を得ず、ローカルな部分的観測のみを用いて最適な周波数帯域とスケジューリング意思決定を下せるようにする。
• ネットワークダイナミクスの事前統計的知識を必要とせず、利得、AoI、エネルギー効率の観点で既存のベースラインを上回るパフォーマンスを達成する。

提案手法

• グローバル状態観測を用いる単一エージェントのマルコフ決定過程（MDP）としてRRM問題をモデル化する。
• グローバルMDPを各VUEペアごとのMDPに分解することで、複雑性を低減し、分散型意思決定を可能にする。
• ローカルネットワーク状態における時間的依存性と部分的観測性を処理するため、長短期記憶（LSTM）ネットワークを深層Qネットワーク（DQN）に統合する。
• 履歴的な部分的観測に基づいて最適な行動を予測する能動的深層強化学習アルゴリズム（提案されるDRQNベースのフレームワーク）を開発する。
• Q関数の分解を用いて、複数のVUEペア間でのスケーラブルな学習を可能にするとともに、RSUを通じた協調性を維持する。
• 経験再生とターゲットネットワークを用いてエージェントをエンドツーエンドで訓練し、学習の安定化と収束性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 時間変動するトラフィックおよびチャネル状態を有する高移動性車両通信ネットワークにおいて、能動的無線リソース管理をどのように設計すれば、年齢情報（AoI）を最小化できるか？
• RQ2 LSTM強化された深層強化学習は、分散型V2V RRMにおける部分的観測性と高次元状態空間の課題をどの程度軽減できるか？
• RQ3 提案された能動的DRLフレームワークは、反応型またはAoIに配慮しないベースラインアルゴリズムと比較して、AoI、利得、エネルギー効率の観点でどの程度優れたパフォーマンスを示すか？
• RQ4 VUEペア間距離とVUEペア数が、さまざまなネットワーク負荷下でのAoIに配慮したRRMのパフォーマンスに与える影響は何か？
• RQ5 提案手法は、ネットワークダイナミクスの事前知識や統計的チャネルモデルを必要とせずに、最適な長期的パフォーマンスを達成できるか？

主な発見

• 提案された能動的DRLアルゴリズムは、最先端のベースラインと比較して、VUEペア1つあたりの平均利得を最大30%向上する。
• VUEペア間距離が増加する（例：65mから100mに）と、チャネル品質の悪化により平均AoIが約25%上昇するが、提案手法はこの影響をベースラインよりもより効果的に緩和する。
• 68個のVUEペアと1スロットあたり4パケットのパケット到着率の下で、提案アルゴリズムはAoIに配慮したベースラインと比較して平均AoIを22%低減し、ランダムベースラインと比較しては35%低減する。
• 特に距離が長い場合、より知的で効率的な周波数帯域割り当てにより、提案手法の平均送信電力消費はパケットに配慮したベースラインおよびAoIに配慮したベースラインよりも低くなる。
• VUEペア数が30から100に増加しても、提案アルゴリズムはキューに配慮したベースラインと比較して20%高い利得を維持する。これは、高負荷下でも高いロバスト性を示している。
• キューに配慮したベースラインとランダムベースラインはAoIにおいて同様の性能を示す。これは、ランダムまたはキューに基づく割り当てがチャネル品質情報を利用しないのに対し、提案手法はそれを活用できることを示している。