[論文レビュー] Deep Reinforcement Learning for Improving Downlink mmWave Communication Performance

Faris B. Mismar, Brian L. Evans|arXiv (Cornell University)|Jul 10, 2017

Millimeter-Wave Propagation and Modeling被引用数 3

ひとこと要約

本稿では、室内ミリ波（mmWave）セルラー通信網におけるダウンリンクSINRを最適化するため、最適なビームフォーミング行動シーケンスを学習する深層強化学習（DRL）手法を提案する。シミュレーションにより、ネットワークのランダムネスに対しても実用的なSINR向上が達成されることを示し、動的かつ変動しやすいmmWave環境における有効性を検証した。

ABSTRACT

We propose a method to improve the DL SINR for a single cell indoor base station operating in the millimeter wave frequency range using deep reinforcement learning. In this paper, we use the deep reinforcement learning model to arrive at optimal sequences of actions to improve the cellular network SINR value from a starting to a feasible target value. While deep reinforcement learning has been discussed extensively in literature, its applications in the cellular networks in general and in mmWave propagations are new and starting to gain attention. We have run simulations and have shown that an optimal action sequence is feasible even against the randomness of the network actions.

研究の動機と目的

• シングルセル室内mmWaveネットワークにおけるダウンリンク信号対インターフェアレンスプラスノイズ比（SINR）の向上。
• mmWave通信における動的かつランダムな伝搬条件の課題への対処。
• 目的SINRレベルに到達するための最適なビームフォーミング行動シーケンスを学習する強化学習フレームワークの構築。
• ネットワークのランダムネスと干渉を伴う現実的な環境下でのDRLアプローチの実現可能性と頑健性の検証。

提案手法

• mmWave帯におけるダウンリンクSINRを最大化する行動シーケンスを学習するため、深層強化学習モデルを採用する。
• ビームフォーミングプロセスを、行動がビームステアリングの調整を表すマルコフ決定過程（MDP）としてモデル化する。
• パスロス、シャドウイング、干渉を含む現実的な室内mmWave伝搬を再現するシミュレーション環境を用いる。
• 目標値に近づくSINRの向上を促進する報酬関数を用いてDRLエージェントを訓練する。
• 現在のネットワーク状態を最適なビームフォーミング行動にマッピングする方策ネットワークを最適化する。
• エージェントの性能を複数のランダムなネットワーク状態において評価し、頑健性をテストする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、mmWaveネットワークにおけるダウンリンクSINRを向上させるための効果的なビームフォーミング行動シーケンスを学習できるか？
• RQ2 室内mmWave伝搬環境に内在するランダムネスの下で、DRLエージェントはどのように性能を発揮するか？
• RQ3 動的チャネル変動が生じる中でも、学習された行動シーケンスを用いて実現可能なSINR目標に到達可能か？
• RQ4 多様で予測不能なネットワーク状態において、DRL方策の頑健性はいかがなものか？

主な発見

• 深層強化学習エージェントは、ダウンリンクSINRを向上させるための最適なビームフォーミング行動シーケンスを効果的に学習した。
• ネットワークダイナミクスやチャネル変動のランダムネスに対しても、実用的なSINR向上が達成された。
• シミュレーション結果から、DRLアプローチが動的かつ室内mmWave環境において頑健で効果的であることが確認された。
• 提案手法は、mmWaveセルラーネットワークにおけるリアルタイムビーム管理の実現可能性を示している。