[論文レビュー] Transfer Learning in Multi-Agent Reinforcement Learning with Double Q-Networks for Distributed Resource Sharing in V2X Communication

Hammad Zafar, Zoran Utkovski+2 more|arXiv (Cornell University)|Jul 13, 2021

Transportation and Mobility Innovations参考文献 10被引用数 4

ひとこと要約

本稿では、V2Xネットワークにおける分散型スケジューリング共有のための、転移学習を強化した二重DQNフレームワークを提案する。二重Q学習を組み合わせることで価値の過大評価を低減し、転移学習により学習を高速化する。限られた学習時間内において、V2Vのパケット配信効率を最大12%向上させ、V2Iの合計容量を6%向上させ、中央値の配信遅延を35msから18msに短縮した。

ABSTRACT

This paper addresses the problem of decentralized spectrum sharing in vehicle-to-everything (V2X) communication networks. The aim is to provide resource-efficient coexistence of vehicle-to-infrastructure(V2I) and vehicle-to-vehicle(V2V) links. A recent work on the topic proposes a multi-agent reinforcement learning (MARL) approach based on deep Q-learning, which leverages a fingerprint-based deep Q-network (DQN) architecture. This work considers an extension of this framework by combining Double Q-learning (via Double DQN) and transfer learning. The motivation behind is that Double Q-learning can alleviate the problem of overestimation of the action values present in conventional Q-learning, while transfer learning can leverage knowledge acquired by an expert model to accelerate learning in the MARL setting. The proposed algorithm is evaluated in a realistic V2X setting, with synthetic data generated based on a geometry-based propagation model that incorporates location-specific geographical descriptors of the simulated environment(outlines of buildings, foliage, and vehicles). The advantages of the proposed approach are demonstrated via numerical simulations.

研究の動機と目的

• V2Xスケジューリング共有におけるマルチエージェント強化学習（MARL）のQ値過大評価の課題に対処すること。
• 事前に訓練されたエキスパートモデルからの知識を活用して、MARLに基づく分散リソース割り当てにおける学習時間を短縮すること。
• 変動するチャネル状態やネットワークトポロジーを伴う動的V2X環境におけるシステム性能の向上。
• 空間的・時間的整合性を保証するため、現実的で幾何学的ベースのV2V伝搬環境で提案手法を評価すること。

提案手法

• 行動選択と価値推定を分離することでQ値過大評価を緩和する二重DQN（DDQN）を統合する。
• エキスパートモデルがDDQNで事前に訓練された重みを学習者モデルのQネットワークに初期化することで、転移学習を適用する。
• エキスパートモデルと学習者モデルの両者で同一の状態、行動、報酬空間を用いることで、ポリシー転送の一貫性を確保する。
• エキスパートモデルを3,000エピソード、学習者モデルを1,800エピソードのみで学習させ、サンプル効率を評価する。
• 地理的記述子を備えた時間変化する伝搬状態を生成するために、GEMV²幾何学的チャネルモデルを採用する。
• V2Vエージェント間での分散実装を可能にする指紋ベースDQNアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 二重DQNは、MARLベースのV2Xスケジューリング共有においてQ値過大評価を低減し、より優れたポリシー品質を実現できるか？
• RQ2 事前に訓練されたエキスパートモデルからの転移学習により、V2X MARLにおける学習者モデルの必要学習期間が顕著に短縮されるか？
• RQ3 さまざまなパケットサイズとチャネル状態下で、提案手法DDQN-TQLは標準DDQNおよびランダムベースラインと比較してどのように性能を発揮するか？
• RQ4 限られた学習期間において、V2X MARLにおける転移学習と完全から学習を開始する手法の性能にどのような影響があるか？

主な発見

• 1,800エピソードの学習制限下で、DDQN-TQLはV2Vパケットの中央値配信遅延をDDQNの35msから18msに短縮した。
• パケットサイズが4×1060バイトの場合、DDQN-TQLはDDQNと比較してV2V配信効率を12%向上させ、V2Iの合計容量を6%向上させた。
• 1,800エピソードに制限された学習において、DDQN-TQLは標準DDQNを上回り、優れたサンプル効率を示した。
• 長期間の学習（例：3,000エピソード以上）では、転移学習なしのDDQNがDDQN-TQLを上回った。これは、転移学習設定において過学習の可能性があることを示唆している。
• 本手法は、学習効率とポリシー品質が最も重要な高パケットサイズシナリオで顕著な性能向上を示した。
• GEMV²モデルの使用により、時間的・空間的整合性を保ったMARLポリシー評価が可能となり、提案フレームワークの堅牢性が検証された。