[論文レビュー] Applications of Deep Reinforcement Learning in Communications and Networking: A Survey

Nguyen Cong Luong, Dinh Thai Hoang+5 more|arXiv (Cornell University)|Oct 18, 2018

Software-Defined Networks and 5G参考文献 139被引用数 16

ひとこと要約

本サーベイは、5G以降の通信・ネットワーキング分野における深層強化学習（DRL）の応用を包括的にレビューしており、動的スペクトラムアクセス、データレート制御、キャッシュ、オフロード、セキュリティ、ルーティングをカバーしている。DRLは、高次元の状態空間と行動空間を扱える深層ニューラルネットワークを活用することで、5G以降のような大規模で不確実性の高いネットワークにおいて、自律的でスケーラブルかつ適応的な意思決定を可能にする。

ABSTRACT

This paper presents a comprehensive literature review on applications of deep reinforcement learning in communications and networking. Modern networks, e.g., Internet of Things (IoT) and Unmanned Aerial Vehicle (UAV) networks, become more decentralized and autonomous. In such networks, network entities need to make decisions locally to maximize the network performance under uncertainty of network environment. Reinforcement learning has been efficiently used to enable the network entities to obtain the optimal policy including, e.g., decisions or actions, given their states when the state and action spaces are small. However, in complex and large-scale networks, the state and action spaces are usually large, and the reinforcement learning may not be able to find the optimal policy in reasonable time. Therefore, deep reinforcement learning, a combination of reinforcement learning with deep learning, has been developed to overcome the shortcomings. In this survey, we first give a tutorial of deep reinforcement learning from fundamental concepts to advanced models. Then, we review deep reinforcement learning approaches proposed to address emerging issues in communications and networking. The issues include dynamic network access, data rate control, wireless caching, data offloading, network security, and connectivity preservation which are all important to next generation networks such as 5G and beyond. Furthermore, we present applications of deep reinforcement learning for traffic routing, resource sharing, and data collection. Finally, we highlight important challenges, open issues, and future research directions of applying deep reinforcement learning.

研究の動機と目的

• 高次元の状態空間と行動空間を有する大規模で複雑なネットワークにおいて、従来の強化学習の限界を克服すること。
• IoT、UAV、ヘテロジニアスネットワーク（HetNets）などの現代のネットワークにおいて、深層強化学習（DRL）が自律的で分散型の意思決定をどのように可能にするかをレビューすること。
• 動的スペクトラムアクセス、データレート制御、無線キャッシュ、データオフロード、セキュリティ、接続性の維持といった、ネットワーキングの主要な問題に対するDRLの応用を分析すること。
• 次世代通信システムへのDRLの応用における未解決の課題と今後の研究方向性を特定すること。

提案手法

• 強化学習、ディープラーニング、深層強化学習の基本的概念をサーベイし、DQN、デュアルDQN、プロキシマルポリシー最適化（PPO）を含む。
• マーカフ決定過程（MDPs）を用いた不確実性下での意思決定に適した、特定のネットワーキング問題への応用に基づいてDRL技術を分類する。
• 大規模な状態空間を扱うために深層ニューラルネットワークを用いたQラーニングを活用し、動的スペクトラムアクセスのDRLベースのソリューションを分析する。
• 事前定義されたチャネルモデルが不要な状態で、ユーザの移動パターンとトラフィックパターンを学習することで、データオフロードとキャッシュの最適化にDRLを適用する。
• 動的なインcentive（インcentive）とユーザ行動をモデル化することで、オークションおよびクラウドセンシングにおける安全で効率的なリソース割り当てにDRLを活用する。
• 受信電力測定値を低複雑性の入力として活用することで、無線電力伝送およびセンサネットワークにおけるDRLの評価を行い、チャネル推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、大規模で動的なネットワークにおいて、従来の強化学習のスケーラビリティの限界をどのように克服できるか？
• RQ2 不確実性下での通信・ネットワーキングにおける効果的な意思決定を可能にする、主なDRLアーキテクチャとアルゴリズムは何か？
• RQ3 DRLは、スペクトラムアクセス、データオフロード、キャッシュといった重要なネットワーキング機能をどのように最適化できるか？
• RQ4 DRLは、情報交換を最小限に抑えるIoTおよびUAVネットワークにおける自律的で分散型の運用をどのように支援するか？
• RQ5 5G以降のネットワークへのDRLの導入における未解決の課題と今後の研究方向性は何か？

主な発見

• 従来の強化学習が計算的に非効率であるため失敗する高次元の状態空間と行動空間を持つ大規模ネットワークにおいて、DRLは効率的な学習とポリシー最適化を可能にする。
• 完全なチャネル状態情報が不要な状態で、リアルタイムのネットワークフィードバックから学習することで、DRLベースのアプローチは動的スペクトラムアクセスとデータオフロードにおいてほぼ最適な性能を達成する。
• 無線電力伝送およびセンサネットワークでは、DRLにより受信電力測定値のみを入力として用いることで低複雑性のチャネル推定が可能となり、センサノードのエネルギー消費が削減される。
• 動的な暗号通貨価格とユーザ行動をモデル化することで、モバイルクラウドセンシングおよびブロックチェーンベースの無線ネットワークにおける安全で効率的なインcentiveメカニズムをDRLが支援する。
• 時間変動するネットワーク状態とユーザの移動パターンに適応できるため、DRLはトラフィックルーティングとリソース共有において、従来の手法を上回る性能を発揮する。
• 強力な性能を発揮する一方で、サンプル効率、一般化性能、リアルタイムでの展開に関する課題は依然として残っており、特に高次元で多様性の高いネットワークにおいて顕著である。