[論文レビュー] Deep Reinforcement Learning Based Mode Selection and Resource Management for Green Fog Radio Access Networks

Yaohua Sun, Mugen Peng+1 more|arXiv (Cornell University)|Sep 15, 2018

Caching and Content Delivery参考文献 30被引用数 10

ひとこと要約

本稿では、総合的なシステムの電力消費を最小限に抑えるために、グリーンフォグラジオアクセスネットワーク（F-RANs）における深層強化学習（DRL）に基づく統合的モード選択およびリソース管理フレームワークを提案する。コントローラーは、UEのC-RANモードとD2Dモードの間で動的に切り替えを行い、プロセッサのオンオフ状態も制御する。C-RANモードのUEに対しては、QoS制約および電力制約のもとでプリコーディングを最適化する。シミュレーション結果から、DRL手法が複数のベースラインを上回ることを示し、トランスファーラーニングにより収束が加速されつつも、性能に劣化がないことが確認された。

ABSTRACT

Fog radio access networks (F-RANs) are seen as potential architectures to support services of internet of things by leveraging edge caching and edge computing. However, current works studying resource management in F-RANs mainly consider a static system with only one communication mode. Given network dynamics, resource diversity, and the coupling of resource management with mode selection, resource management in F-RANs becomes very challenging. Motivated by the recent development of artificial intelligence, a deep reinforcement learning (DRL) based joint mode selection and resource management approach is proposed. Each user equipment (UE) can operate either in cloud RAN (C-RAN) mode or in device-to-device mode, and the resource managed includes both radio resource and computing resource. The core idea is that the network controller makes intelligent decisions on UE communication modes and processors' on-off states with precoding for UEs in C-RAN mode optimized subsequently, aiming at minimizing long-term system power consumption under the dynamics of edge cache states. By simulations, the impacts of several parameters, such as learning rate and edge caching service capability, on system performance are demonstrated, and meanwhile the proposal is compared with other different schemes to show its effectiveness. Moreover, transfer learning is integrated with DRL to accelerate learning process.

研究の動機と目的

• 動的フォグラジオアクセスネットワークにおける異種エッジキャッシュを伴う長期的システム電力消費を最小限に抑える課題に対処すること。
• QoS制約および計算制約のもとで、ユーザー機器（UE）の通信モード選択（C-RAN対D2D）とプロセッサのオンオフ状態を統合最適化すること。
• エッジキャッシュ状態と干渉の変動に応じたリアルタイムで適応可能なネットワーク制御を可能にすること。
• 従来の制御方式およびベースラインアルゴリズムと比較して、DRLの有効性を評価すること。
• DRLにトランスファーラーニングを統合し、トレーニング時間を短縮しつつ性能を維持すること。

提案手法

• 意思決定のためのQ関数の近似に深層Qネットワーク（DQN）を用い、生のネットワーク状態からのモデルフリーでエンドツーエンドの学習を可能にする。
• DRLエージェントは、キャッシュの利用可能性やチャネル状態を含む現在のシステム状態に基づいて、UEの通信モードとプロセッサ状態を選択する。
• モード選択後、各UEのQoS制約、各RRHの電力制約、クラウドコンピューティング能力制約のもとで、C-RANモードのUEに対する反復的アルゴリズムによりプリコーディングを最適化する。
• リプレイメモリとターゲットネットワークを用いることで、DQNのトレーニングを安定化させ、収束性と一般化性能を向上させる。
• トランスファーラーニングにより、類似環境で事前学習された重みを用いてDRLモデルを初期化し、トレーニング時間を短縮する。
• 長期的最適化を導くために、割引累積電力消費を報酬信号として使用する。

実験結果

リサーチクエスチョン

• RQ1 DRLに基づく統合的モード選択およびリソース管理は、動的F-RANにおける長期的システム電力消費にどのように影響を与えるか？
• RQ2 エネルギー効率の観点から、DRLは固定モード方式（例：常にD2D、または常にC-RAN）と比較して、どの程度の性能向上を達成するか？
• RQ3 トランスファーラーニングの統合は、DRLエージェントのトレーニング効率および最終的な性能にどのように影響を与えるか？
• RQ4 学習率やバッチサイズといった主要なハイパーパrameterは、DRLモデルの収束性および安定性にどのように影響を与えるか？
• RQ5 エッジキャッシュサービス能力の変動が、システム電力消費および制御戦略に与える影響は何か？

主な発見

• 提案手法のDRLベースのアプローチは、D2D-常におよびC-RAN-のみのすべてのベースラインと比較して、最も低い長期的システム電力消費を達成した。
• DRL手法は、動的キャッシュ状態と干渉の変動に基づいて、C-RANとD2Dモードを知的にバランスさせることで、電力消費を顕著に低減した。
• Q学習と比較して、リプレイメモリと関数近似を用いたDRLアプローチは、環境との相互作用回数を減らしつつも、一般化性能が高く、優れた性能を達成した。
• トランスファーラーニングにより、DRLエージェントは初期化からトレーニングを開始した場合と同等の性能に到達可能であり、著しく短いトレーニング時間と相互作用回数で達成された。
• 学習率とバッチサイズは、トレーニングの安定性と収束速度に顕著な影響を及ぼし、最適な値を設定することで性能が向上した。
• エッジキャッシュサービス能力が高くなる（例：ρₘ = 0.9）と、より多くのコンテンツがローカルに利用可能になるため、バックハネルおよび処理負荷が低下し、システム電力消費が低減した。