[論文レビュー] Handover Control in Wireless Systems via Asynchronous Multi-User Deep Reinforcement Learning

Zhi Wang, Lihua Li+3 more|arXiv (Cornell University)|Jan 6, 2018

IPv6, Mobility, Handover, Networks, Security参考文献 24被引用数 12

ひとこと要約

本論文は、異種のユーザー移動性を有する大規模無線ネットワークにおけるハンドオーバー（HO）制御最適化のための2段階非同期マルチユーザー深層強化学習フレームワークを提案する。ユーザーを移動パターンに基づいてクラスタリングし、各クラスタにグローバルパラメータサーバーを設けることで、学習を高速化するとともにHOレートを低減し、高いスループットを維持する。従来の3GPP手法や最先端のオンライン手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a two-layer framework to learn the optimal handover (HO) controllers in possibly large-scale wireless systems supporting mobile Internet-of-Things (IoT) users or traditional cellular users, where the user mobility patterns could be heterogeneous. In particular, our proposed framework first partitions the user equipments (UEs) with different mobility patterns into clusters, where the mobility patterns are similar in the same cluster. Then, within each cluster, an asynchronous multi-user deep reinforcement learning scheme is developed to control the HO processes across the UEs in each cluster, in the goal of lowering the HO rate while ensuring certain system throughput. In this scheme, we use a deep neural network (DNN) as an HO controller learned by each UE via reinforcement learning in a collaborative fashion. Moreover, we use supervised learning in initializing the DNN controller before the execution of reinforcement learning to exploit what we already know with traditional HO schemes and to mitigate the negative effects of random exploration at the initial stage. Furthermore, we show that the adopted global-parameter-based asynchronous framework enables us to train faster with more UEs, which could nicely address the scalability issue to support large systems. Finally, simulation results demonstrate that the proposed framework can achieve better performance than the state-of-art on-line schemes, in terms of HO rates.

研究の動機と目的

• 従来のマクロセル方式における静的HOパラメータが原因で生じる超密度ネットワーク（UDN）における頻発的ハンドオーバー問題に対処すること。
• ネットワークダイナミクス（UEの軌道やチャネルモデルなど）の事前知識を必要としない、スケーラブルでモデルフリーな学習手法を開発すること。
• 大規模かつ異種の移動性環境下でも、ハンドオーバー率を低減しつつ高いシステムスループットを維持すること。
• UE間での非同期パラメータ更新とDNNの教師あり学習による初期化を活用することで、学習を加速し、サンプル効率を向上させること。

提案手法

• フレームワークはまず、類似した移動パターンを有するユーザー設備（UE）をクラスタリングし、同等のHO行動を示すUEをグループ化する。
• 各クラスタ内では、非同期アドバンテージアクターキャリスティック（A3C）強化学習方式を採用し、UEが中央のパラメータサーバーを通じて共有されるグローバルDNNポリシーを非同期で更新する。
• ハンドオーバー制御器として深層Qネットワーク（DQN）近似器を用い、従来のHO方式からの教師あり学習により初期化することで、初期段階のランダム探索による非効率を低減する。
• グローバルパラメータサーバーは複数のUEからの勾配を集約し、UE数の増加に伴い収束が速くなり、スケーラビリティが向上する。
• 訓練中は、探索と活用のバランスを取るために、状態価値関数推定とUCB（上位信頼区間）原理に基づく行動選択を実施する。
• フレームワークはオンラインおよびオフライン推論をサポートしており、新規に到着するUEがパラメータサーバーから事前学習済みモデルを活用することで、即座に良好な性能を発揮できる。

実験結果

リサーチクエスチョン

• RQ1 非同期マルチユーザー深層強化学習フレームワークは、大規模かつ異種の移動性環境下で、ハンドオーバー率を効果的に低減できるか？
• RQ2 移動パターンに基づくUEのクラスタリングは、HO制御ポリシーのスケーラビリティと学習効率にどのように影響を与えるか？
• RQ3 教師あり学習による初期化は、HO制御における深層強化学習のサンプル効率と性能をどの程度向上できるか？
• RQ4 グローバルパラメータサーバーのアーキテクチャは、UE数の増加に伴い、収束を速め、スケーラビリティを向上させられるか？
• RQ5 本手法は、最先端のオンライン手法および従来の3GPPベースのハンドオーバー方式と比較して、HOレートとシステムスループットの点でどの程度優れているか？

主な発見

• シミュレーション結果では、提案フレームワークは3GPP手法よりも最大80％の低HOレートを達成し、スループットも向上した。
• 各クラスタにグローバルパラメータサーバーを設けることで、学習が加速され、性能が向上しており、状態価値関数推定の収束が速いことが実証された。
• DQN近似器の初期化に教師あり学習を用いることで、初期段階のランダム探索による悪影響が顕著に低減された。
• 非同期A3Cフレームワークは、UE数の増加に伴い良好にスケーリングされ、遅延要因がUE数に対して劣線形に増加するため、大規模展開に適している。
• 等しい学習時間後、UCBベースのオンライン学習ベースラインと比較して、本手法は両方の指標（HOレートとスループット）で優れた性能を示し、サンプル効率の優位性が裏付けられた。
• フレームワークにより、新規に到着するUEはパラメータサーバーから事前学習済みモデルを活用することで、初期に悪いポリシーをとるリスクを回避し、即座に良好な性能を発揮できる。