[論文レビュー] DRAG: Deep Reinforcement Learning Based Base Station Activation in Heterogeneous Networks

Junhong Ye, Ying–Jun Angela Zhang|arXiv (Cornell University)|Sep 6, 2018

Advanced MIMO Systems Optimization被引用数 6

ひとこと要約

本稿では、異種ネットワークにおけるエネルギー効率の良い小基地局（SBS）の活性化のための深層強化学習ベースのアルゴリズム、DRAGを提案する。SBSのオン/オフスケジューリングをマルコフ意思決定過程として定式化し、深層決定的方策勾配（DDPG）を用い、新たなアクション精錬スキームを組み合わせることで、表形式の手法に比べて優れたエネルギー効率とスケーラビリティを達成し、ストレージおよび計算の両面で多項式時間の複雑さを示す。

ABSTRACT

Heterogeneous Network (HetNet), where Small cell Base Stations (SBSs) are densely deployed to offload traffic from macro Base Stations (BSs), is identified as a key solution to meet the unprecedented mobile traffic demand. The high density of SBSs are designed for peak traffic hours and consume an unnecessarily large amount of energy during off-peak time. In this paper, we propose a deep reinforcement-learning based SBS activation strategy that activates the optimal subset of SBSs to significantly lower the energy consumption without compromising the quality of service. In particular, we formulate the SBS on/off switching problem into a Markov Decision Process that can be solved by Actor Critic (AC) reinforcement learning methods. To avoid prohibitively high computational and storage costs of conventional tabular-based approaches, we propose to use deep neural networks to approximate the policy and value functions in the AC approach. Moreover, to expedite the training process, we adopt a Deep Deterministic Policy Gradient (DDPG) approach together with a novel action refinement scheme. Through extensive numerical simulations, we show that the proposed scheme greatly outperforms the existing methods in terms of both energy efficiency and computational efficiency. We also show that the proposed scheme can scale to large system with polynomial complexities in both storage and computation.

研究の動機と目的

• 異種ネットワーク（HetNets）に密に展開された小基地局（SBS）の高いエネルギー消費を低減すること、特にピーク時以外の時間帯における消費を対象とする。
• 従来の基地局スリーピング／アクティベーション手法の限界、すなわちモデル依存性、高い計算コスト、スケーラビリティの低さを克服すること。
• システムモデルの事前知識が不要であり、動的なトラフィックおよびチャネル状態に適応できる、大規模な時間スケールで動作するスケーラブルでデータ駆動型の手法を開発すること。
• SBSのアクティベーション、スイッチングコスト、サービス遅延を統合最適化することで、品質保証を維持したまま高いエネルギー効率を達成すること。

提案手法

• エネルギー消費とサービス品質を目的関数とするマルコフ意思決定過程（MDP）としてSBSのオン/オフスケジューリング問題を定式化する。
• 連続的な状態空間と行動空間を扱えるように、深層ニューラルネットワーク（DNN）を用いて方策（アーリスト）と価値関数（クリティック）を近似する深層アクター・クリティックフレームワークを採用する。
• オフポリシーの経験リプレイとターゲットネットワークを用いて、DNNをエンドツーエンドで学習するため、深層決定的方策勾配（DDPG）アルゴリズムを採用する。
• 状態-行動ペアに基づくアクションのコストを予測するためのコスト推定ネットワーク（CEN）を導入し、より情報に基づいた探索を可能にする。
• コストグリーディとεグリーディの両方を組み合わせた新規なアクション精錬スキームを設計し、学習の高速化と収束の向上を図る。
• トラフィック到着レートを予測する別個のDNNを用い、SBSトラフィックの時間的および空間的相関を活用することで、状態表現の質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 動的なSBSの活性化により、深層強化学習の手法がHetNetsにおけるエネルギー消費を効果的に低減できるか。
• RQ2 表形式の強化学習手法と比較して、提案されたDRAGアルゴリズムはスケーラビリティおよび計算複雑度においてどのように優れているか。
• RQ3 コスト推定ネットワーク（CEN）を組み込むことで、学習効率および方策の収束にどの程度寄与するか。
• RQ4 SBSの数が増加するに従い、DRAGのストレージおよび計算複雑度のスケーリング特性はどのように変化するか。
• RQ5 定常的でないトラフィックトレースを含む、さまざまなトラフィック条件下でもアルゴリズムはどの程度の性能を示すか。

主な発見

• DRAGは、定常的および変動するトラフィック環境の両方において、収束が早く、性能が優れていることから、既存の学習ベースの手法に比べてエネルギー効率および計算効率の両面で顕著に優れている。
• 提案されたコストグリーディおよびハイブリッド（ε-コストグリーディ）探索スキームにより、学習が加速され、Q値ベースの手法と比較して、わずか50日間の学習で正確なコスト推定が達成された（Q値手法では300日間を要した）。
• 収束に必要なネットワークサイズ（RNS）はSBS数（$B_s$）にほぼ線形に増加するため、$O(B_s)$の複雑度を示しており、表形式手法の$O(2^{B_s})$に比べて顕著な改善である。
• ネットワークの深さを増すことで、収束に必要な幅が減少する—例として$B_s = 30$の場合、2層では0.5、3層では0.4に低下し、より深いネットワークがサンプル効率を向上させることを示している。
• ストレージおよび計算の両面で多項式時間の複雑度を達成しているため、大規模なHetNetsへの展開が可能である。
• DNNを用いた方策近似により、トラフィックやチャネル統計の事前知識が不要なモデルフリーでデータ駆動型の動的ネットワーク状態への適応が可能である。