[論文レビュー] Context-Aware Mobility Management in HetNets: A Reinforcement Learning Approach

Meryem Simsek, Mehdi Bennis+1 more|arXiv (Cornell University)|May 7, 2015

Advanced MIMO Systems Optimization参考文献 3被引用数 6

ひとこと要約

本稿では、速度および履歴レートフィードバックを用いて、マクロおよびピコ基地局が共同でセル範囲拡張とユーザー機器（UE）スケジューリングを最適化できる、強化学習に基づくコンテキスト対応型モビリティ管理フレームワークを提案する。この手法は、古典的手法と比較して平均UEスループットを最大80%向上させるとともに、ハンドオーバー失敗確率を3分の1に低減する。

ABSTRACT

The use of small cell deployments in heterogeneous network (HetNet) environments is expected to be a key feature of 4G networks and beyond, and essential for providing higher user throughput and cell-edge coverage. However, due to different coverage sizes of macro and pico base stations (BSs), such a paradigm shift introduces additional requirements and challenges in dense networks. Among these challenges is the handover performance of user equipment (UEs), which will be impacted especially when high velocity UEs traverse picocells. In this paper, we propose a coordination-based and context-aware mobility management (MM) procedure for small cell networks using tools from reinforcement learning. Here, macro and pico BSs jointly learn their long-term traffic loads and optimal cell range expansion, and schedule their UEs based on their velocities and historical rates (exchanged among tiers). The proposed approach is shown to not only outperform the classical MM in terms of UE throughput, but also to enable better fairness. In average, a gain of up to 80\% is achieved for UE throughput, while the handover failure probability is reduced up to a factor of three by the proposed learning based MM approaches.

研究の動機と目的

• マクロおよびピコセルのカバレッジのばらつきと高動速度UEによる、混雑したHetNetsにおける非効率なハンドオーバー性能の課題に対処する。
• UE速度および履歴データレートといったリアルタイムコンテキストに基づいて、動的にモビリティパラメータを適応させることで、システムスループットと公平性を向上させる。
• ネットワーク階層全体にわたる協調的で学習ベースの最適化により、ハンドオーバー失敗（HOF）およびピングパン（PP）イベントを低減する。
• セル範囲拡張とUEスケジューリングを共同最適化することで、HetNetsにおける負荷分散と効率的なリソース利用を実現する。

提案手法

• マクロおよびピコ基地局の両方で、マルチアームドバンディット（MAB）および満足度ベースの強化学習を用いて、モビリティ管理意思決定を最適化する。
• 階層間で交換される速度および履歴レート情報を利用して、コンテキスト対応スケジューリングおよびセル範囲拡張（CRE）意思決定を支援する。
• ハンドオーバーをトリガーするために、レイヤ3フィルタリング処理を施したRSRP測定値に基づく時間までのトリガー（TTT）およびハンドオーバーイベント検出を実装する。
• 長期的なトラフィック負荷推定を適用し、基地局が範囲拡張バイアス（REB）およびスケジューリングポリシーを調整できるようにする。
• 限られた階層間シグナリングを用いてマクロおよびピコBSを協調させ、競合するハンドオーバーを防止し、ピングパン効果を低減する。
• 各基地局が環境との相互作用を通じて最適戦略を学習するように、モビリティ管理問題を逐次意思決定プロセスとしてモデル化する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムのUE速度および履歴レートフィードバックをハンドオーバー意思決定に組み込むことで、HetNetsにおけるモビリティ管理はどのように改善できるか？
• RQ2 強化学習は、高動速度環境下でハンドオーバー失敗確率およびピングパンイベントをどの程度低減できるか？
• RQ3 コンテキスト対応型、学習ベースのモビリティ管理は、平均およびセルエッジUEスループットにどのような影響を与えるか？
• RQ4 負荷分散およびシステム容量の観点から、本手法は古典的手法と比べてどのように異なるか？

主な発見

• 満足度ベースの学習手法は、古典的手法と比較して最大80%高い平均UEスループットを達成する。
• MABベースの手法は、古典的手法と比較して、セルセンターUEスループットを124%、セルエッジUEスループットを39%向上させる。
• 高動速度条件下では、提案手法を用いることでハンドオーバー失敗確率が最大3分の1に低減される。
• TTT = 480 msの場合、提案手法は古典的手法のハンドオーバー失敗確率を50%低減するが、特に高動速度UEにおいて顕著である。
• すべてのUE密度およびピコBS数において、合計スループットの増加が最大85%に達し、古典的手法を一貫して上回る。
• 提案フレームワークは、マクロセルあたりのピコセル数の増加に対しても高いパフォーマンスを維持するため、スケーラビリティとロバストネスを示している。