[論文レビュー] Multi-Agent Reinforcement Learning for Joint Channel Assignment and Power Allocation in Platoon-Based C-V2X Systems.

Hung V. Vu, Zheyu Liu+3 more|arXiv (Cornell University)|Nov 9, 2020

Traffic control and management参考文献 16被引用数 13

ひとこと要約

本稿では、プラトゥーンベースのC-V2Xシステムにおける共同チャネル割り当ておよび電力割り当てのためのマルチエージェント強化学習（MARL）手法を提案する。各プラトゥーンリーダーが独立したエージェントとして、局所的なチャネル状態に基づいてサブバンドおよび電力選択を最適化するためにダブルディープQラーニングを用いる。この手法は、全探索に近い性能を達成しながら、低遅延なV2V信頼性を維持し、V2Iの合計スループットを最大化する。

ABSTRACT

We consider the problem of joint channel assignment and power allocation in underlaid cellular vehicular-to-everything (C-V2X) systems where multiple vehicle-to-infrastructure (V2I) uplinks share the time-frequency resources with multiple vehicle-to-vehicle (V2V) platoons that enable groups of connected and autonomous vehicles to travel closely together. Due to the nature of fast channel variant in vehicular environment, traditional centralized optimization approach relying on global channel information might not be viable in C-V2X systems with large number of users. Utilizing a reinforcement learning (RL) approach, we propose a distributed resource allocation (RA) algorithm to overcome this challenge. Specifically, we model the RA problem as a multi-agent system. Based solely on the local channel information, each platoon leader, who acts as an agent, collectively interacts with each other and accordingly selects the optimal combination of sub-band and power level to transmit its signals. Toward this end, we utilize the double deep Q-learning algorithm to jointly train the agents under the objectives of simultaneously maximizing the V2I sum-rate and satisfying the packet delivery probability of each V2V link in a desired latency limitation. Simulation results show that our proposed RL-based algorithm achieves a close performance compared to that of the well-known exhaustive search algorithm.

研究の動機と目的

• 大規模なC-V2Xシステムにおける動的で急速な fading を示す車両用チャネルの課題に対処すること。
• グローバルなチャネル状態情報が不要な分散型でリアルタイムのリソース割り当てを可能にすること。
• V2I合計スループットを共同で最大化するとともに、遅延制約下で信頼性の高いV2V通信を確保すること。
• 強化学習を用いて、プラトゥーンベースの車両ネットワーク向けにスケーラブルなソリューションを設計すること。

提案手法

• 各プラトゥーンリーダーを独立したエージェントとして、リソース割り当て問題をマルチエージェント強化学習システムとしてモデル化する。
• エージェントを分散的に学習させるために、ダブルディープQラーニング（DDQN）を用い、局所的なチャネル状態情報に依存する。
• 各エージェントの送信に対する行動空間を、サブバンドと電力レベルの組み合わせとして定義する。
• V2I合計スループットの最大化と、遅延制約下でのV2Vパケット到達確率の両立を図るため、報酬関数を定式化する。
• エージェントを環境との相互作用を通じて訓練し、経験リプレイとターゲットネットワークを用いてQ値を更新することで、安定性を向上させる。
• 局所的意思決定を通じて、変化の激しい車両環境に適応可能なスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 分散型マルチエージェント強化学習アプローチは、大規模なC-V2Xシステムにおける共同チャネル割り当ておよび電力割り当てを効果的に処理できるか？
• RQ2 提案手法のMARLは、全探索に比べてV2I合計スループットとV2V信頼性の点でどの程度の性能を示すか？
• RQ3 局所的なチャネル状態情報のみで、急速な fading を示す車両環境においても高品質なリソース割り当てを実現できるか？
• RQ4 ダブルディープQラーニングフレームワークは、動的なプラトゥーンベースのC-V2Xシナリオにおいても安定性と収束性を維持できるか？

主な発見

• 提案されたMARLベースのアルゴリズムは、最適とされる全探索アルゴリズムとほぼ同等のV2I合計スループット性能を達成する。
• アルゴリズムは、指定された遅延制約内での各V2Vリンクの必要なパケット到達確率を効果的に維持する。
• ダブルディープQラーニングの使用により、車両チャネルの動的で非定常な性質にもかかわらず、安定的かつ効率的な学習が可能になる。
• 分散型アプローチにより、グローバルなチャネル状態情報の必要性が排除され、スケーラビリティとリアルタイム実行可能性が向上する。