[論文レビュー] Self-Tuning Sectorization: Deep Reinforcement Learning Meets Broadcast Beam Optimization

Rubayet Shafin, Hao Chen+7 more|arXiv (Cornell University)|Jun 14, 2019

Advanced MIMO Systems Optimization参考文献 27被引用数 4

ひとこと要約

本稿では、リアルタイムのユーザー分布に基づいて動的・自律的にビームパターンを最適化する、MIMOブロードキャストビームフォーミングにおける自己調整型セクタライゼーションのための深層強化学習（DRL）ベースのフレームワークを提案する。DRLエージェントは、カバレッジを最大化する最適なビーム設定を選択する能力を学習し、周期的およびマコビアン移動パターンの両方において、正確にオラクル解に収束する。

ABSTRACT

Beamforming in multiple input multiple output (MIMO) systems is one of the key technologies for modern wireless communication. Creating appropriate sector-specific broadcast beams are essential for enhancing the coverage of cellular network and for improving the broadcast operation for control signals. However, in order to maximize the coverage, patterns for broadcast beams need to be adapted based on the users' distribution and movement over time. In this work, we present self-tuning sectorization: a deep reinforcement learning framework to optimize MIMO broadcast beams autonomously and dynamically based on user' distribution in the network. Taking directly UE measurement results as input, deep reinforcement learning agent can track and predict the UE distribution pattern and come up with the best broadcast beams for each cell. Extensive simulation results show that the introduced framework can achieve the optimal coverage, and converge to the oracle solution for both single sector and multiple sectors environment, and for both periodic and Markov mobility patterns.

研究の動機と目的

• 現代のセルラー通信網における静的かつ手動で設定されたブロードキャストビームパラメータが引き起こすカバレッジの非最適化を是正すること。
• 変化するユーザー分布および移動パターンに応じて、セクタ固有のビームパターンを動的かつ自律的に適応可能にする仕組みを提供すること。
• 定期的なドライブテストや手動によるパrameterチューニングに依存しない自己最適化フレームワークを構築すること。
• 周期的およびランダム（マコビアン）ユーザー移動に適応するビーム設定ポリシーを学習することで、最適なネットワークカバレッジを達成すること。
• 単一およびマルチセクタ環境において、DRLエージェントが最適なビーム設定（オラクル解）に収束することを実証すること。

提案手法

• リアルタイムのユーザー端末（UE）測定フィードバックに基づいてビームパターンを選択するエージェントを学習するために、深層Qネットワーク（DQN）強化学習を採用する。
• UE分布データをDRLエージェントの直接入力として使用し、時間経過に伴うユーザークラスタリングパターンの追跡および予測を可能にする。
• 各ビーム設定における接続済みUE数に基づいてカバレッジ性能を定量化する報酬関数を定義する。
• 周期的およびマコビアン移動パターンを含む動的ユーザー移動を再現するシミュレーション環境でDRLエージェントを学習させる。
• 各セクタが局所的なユーザー分布に基づいてビームパターンを独立して選択するが、グローバルカバレッジ最適化を維持するための調整を保つマルチセクタ学習アーキテクチャを実装する。
• 不規則なユーザー移動をシミュレートし、アルゴリズムのロバストネスをテストするために、マコビアン移動のための状態遷移モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのシステムは、手動による干渉なしに、動的ユーザー分布に応じて自律的にブロードキャストビームパターンを最適化できるか？
• RQ2 単一およびマルチセクタ環境において、周期的ユーザー移動パターン下でDRLエージェントが最適なビーム設定（オラクル解）にどの程度収束するか？
• RQ3 マコビアン過程としてモデル化された不規則かつランダムなユーザー移動パターン下でも、DRLフレームワークは最適性能と収束性を維持できるか？
• RQ4 異なるユーザー分布シナリオにおいて、DRLエージェントがオラクルビーム選択ポリシーの行動をどの程度正確に再現できるか？
• RQ5 訓練過程において報酬信号と行動の不一致はどのように変化するか？また、複雑な移動環境下でもシステムは安定した収束を達成できるか？

主な発見

• 周期的ユーザー移動パターン下で、単一セクタおよびマルチセクタ環境の両方において、DRLエージェントはオラクル解に完全に収束する。
• DRLエージェントの報酬とオラクルの報酬との間の平均二乗差（ASD）は、学習後、ゼロに低下し、正確な収束を示している。
• すべてのセクタにおいて、DRLエージェントとオラクルとの間の平均行動不一致（AM）がゼロに低下し、エージェントがオラクルと同一の最適ビームパターンを選択していることを確認した。
• マコビアン移動パターン下でも、DRLエージェントは依然としてオラクル解に収束し、ASDおよびAMの両方がゼロに達する。これは、非周期的かつランダムなユーザー移動に対してもロバストであることを示している。
• 異なるシナリオにおける報酬値の差がわずかであっても、DRLエージェントは最適行動を正確に識別できており、高い学習精度を示している。
• 収束時のインスタントレーリ報酬および行動トレースから、エージェントが各シナリオに対して正しいビームパターンを選択していることが確認され、安定的かつ正確なポリシー学習が実現している。