[論文レビュー] Green Deep Reinforcement Learning for Radio Resource Management: Architecture, Algorithm Compression and Challenge

Zhiyong Du, Yansha Deng+3 more|arXiv (Cornell University)|Oct 11, 2019

Advanced MIMO Systems Optimization参考文献 15被引用数 5

ひとこと要約

本稿は、クラウドベースのトレーニングと分散型意思決定アーキテクチャに加え、アルゴリズムレベルの圧縮および空間的転移学習を統合することで、5Gおよびそれ以上の無線リソース管理（RRM）におけるグリーンな深層強化学習（DRL）フレームワークを提案する。これにより、軽量なデバイス内推論、圧縮されたDNNおよびMDP、地理的に相関する基地局間での知識共有を通じて、エネルギー効率的でスケーラブルなDRLが実現され、計算コストとエネルギー消費を大幅に削減しながら学習効率が向上する。

ABSTRACT

AI heralds a step-change in the performance and capability of wireless networks and other critical infrastructures. However, it may also cause irreversible environmental damage due to their high energy consumption. Here, we address this challenge in the context of 5G and beyond, where there is a complexity explosion in radio resource management (RRM). On the one hand, deep reinforcement learning (DRL) provides a powerful tool for scalable optimization for high dimensional RRM problems in a dynamic environment. On the other hand, DRL algorithms consume a high amount of energy over time and risk compromising progress made in green radio research. This paper reviews and analyzes how to achieve green DRL for RRM via both architecture and algorithm innovations. Architecturally, a cloud based training and distributed decision-making DRL scheme is proposed, where RRM entities can make lightweight deep local decisions whilst assisted by on-cloud training and updating. On the algorithm level, compression approaches are introduced for both deep neural networks and the underlying Markov Decision Processes, enabling accurate low-dimensional representations of challenges. To scale learning across geographic areas, a spatial transfer learning scheme is proposed to further promote the learning efficiency of distributed DRL entities by exploiting the traffic demand correlations. Together, our proposed architecture and algorithms provide a vision for green and on-demand DRL capability.

研究の動機と目的

• AI駆動による性能向上にもかかわらず、持続可能性を脅かす5Gおよびそれ以上の無線ネットワークにおける深層強化学習（DRL）の高いエネルギー消費を是正すること。
• 高次元かつ動的な無線環境における従来のRRM最適化手法のスケーラビリティおよび計算負荷の課題を克服すること。
• トレーニングおよび推論の両段階でエネルギー消費を最小限に抑えるグリーンDRLアーキテクチャを構築し、計算をクラウドにオフロードし、軽量な現地意思決定を可能にすること。
• 深層ニューラルネットワーク（DNN）およびマコフ決定過程（MDP）の両方のモデル圧縮技術を導入し、正確性を損なわずにパラメータ数と計算負荷を削減すること。
• 隣接する基地局間の空間的相関を活用して空間的転移学習を実現し、DRLの収束を加速させ、重複したトレーニングを削減すること。

提案手法

• 基地局が軽量な現地推論を実行するが、中央集権的なクラウドトレーニングによって支援されるクラウドベースのトレーニングと分散型意思決定のDRLアーキテクチャを提案する。
• トレーニングおよび推論の両段階でモデルサイズとエネルギー消費を削減するため、反復的スパarsity発見と段階的プルーニングに焦点を当てたDNN圧縮技術を適用する。
• 最適な方策や遷移ダイナミクスの事前知識が不要な状態空間および行動空間の圧縮を可能にするオンライン学習によるMDPの抽象化を導入する。
• 隣接する基地局間の時空間的トラフィック相関をモデル化するために確率的積分差分方程式（SIDE）フレームワークを活用し、空間的転移学習を可能にする。
• 隣接するDRLエージェント間のパラメータ共有の範囲を決定するため、トラフィック需要の相関に基づく空間カーネルを設計する。
• 圧縮されたDNN、抽象化されたMDP、空間的転移学習を統合し、分散型RRMに適したスケーラブルで低エネルギー消費のDRLシステムを構築する。

実験結果

リサーチクエスチョン

• RQ1 5Gおよびそれ以上のネットワークにおける無線リソース管理のDRLを、パフォーマンスを損なわずにエネルギー効率的に実現する方法は何か？
• RQ2 バッテリ制限のある無線デバイスにおけるスケーラブルで低エネルギー消費のDRL展開を可能にするアーキテクチャ的設計は何か？
• RQ3 深層ニューラルネットワークおよびMDPのモデル圧縮技術は、RRMのDRLにおける計算コストとエネルギー消費をどのように低減できるか？
• RQ4 隣接する基地局間のトラフィック相関に基づく空間的転移学習は、DRLの収束を向上させ、重複したトレーニングを削減できるか？
• RQ5 オンライン抽象化は、環境のダイナミクスに関する事前知識がなくてもMDPの圧縮にどのように寄与するか？

主な発見

• 提案されたクラウドベースのトレーニングと分散型推論アーキテクチャは、デバイス内での計算およびエネルギー消費を顕著に削減し、バッテリ制限のあるデバイスへの展開を可能にする。
• DNN圧縮技術、特に反復的スパarsity発見は、トレーニング段階および推論段階の両方でモデルサイズとエネルギー消費を削減する。
• オンラインMDP抽象化により、最適方策や遷移確率の事前知識がなくても、状態空間および行動空間の効果的圧縮が可能になる。
• SIDEに基づくトラフィック相関モデルに裏打ちされた空間的転移学習により、隣接する基地局が知識を共有でき、DRLの収束が加速され、トレーニング時間が短縮される。
• モデル圧縮と空間的転移学習の統合により、分散型RRMエージェント全体で学習がより速くなり、エネルギー消費が低減される。
• 本フレームワークは、パフォーマンス、スケーラビリティ、エネルギー効率性のバランスを取ることで、無線ネットワークにおけるグリーンAIの実現可能性を示している。