[論文レビュー] On Improving Energy Efficiency within Green Femtocell Networks: A Hierarchical Reinforcement Learning Approach

Xianfu Chen, Honggang Zhang+3 more|arXiv (Cornell University)|Mar 13, 2013

Advanced MIMO Systems Optimization参考文献 19被引用数 6

ひとこと要約

本稿では、マクロセルをリーダー、フェアトセルをフォロワーとして、エネルギー効率を向上させるためにスタックルベルクゲームを用いた階層的強化学習（HRL）フレームワークを提案する。RLHPA-IIアルゴリズムは、相互作用に基づく戦略共有を組み込み、非協力的学習およびRLHPA-Iと比較して収束が速く、効用性能が優れている。これにより、QoS制約を満たしつつ、エネルギー効率が著しく向上する。

ABSTRACT

One of the efficient solutions of improving coverage and increasing capacity in cellular networks is the deployment of femtocells. As the cellular networks are becoming more complex, energy consumption of whole network infrastructure is becoming important in terms of both operational costs and environmental impacts. This paper investigates energy efficiency of two-tier femtocell networks through combining game theory and stochastic learning. With the Stackelberg game formulation, a hierarchical reinforcement learning framework is applied for studying the joint expected utility maximization of macrocells and femtocells subject to the minimum signal-to-interference-plus-noise-ratio requirements. In the learning procedure, the macrocells act as leaders and the femtocells are followers. At each time step, the leaders commit to dynamic strategies based on the best responses of the followers, while the followers compete against each other with no further information but the leaders' transmission parameters. In this paper, we propose two reinforcement learning based intelligent algorithms to schedule each cell's stochastic power levels. Numerical experiments are presented to validate the investigations. The results show that the two learning algorithms substantially improve the energy efficiency of the femtocell networks.

研究の動機と目的

• 密なセルラー網における上昇するエネルギー消費を是正するため。特にフェアトセル展開を対象とする。
• 周波数干渉とQoS制約下での上行リンク二段階フェアトセルネットワークにおけるエネルギー効率の向上。
• 中央集権的制御や完全な情報交換に依存しない分散的・自律的リソース割り当てメカニズムの設計。
• マクロセルとフェアトセルの相互作用を、確率的学習とゲーム理論を用いたリーダーフォロワー学習ゲームとしてモデル化。
• 共同効用最適化を目的とした強化学習ベースのアルゴリズムの開発と評価。

提案手法

• マクロセルをリーダー、フェアトセルをフォロワーとして、エネルギー効率問題をスタックルベルク学習ゲームとして定式化。
• リーダーがフォロワーの最良反応に基づいて動的戦略をコミットする、2つの強化学習アルゴリズム（RLHPA-I および RLHPA-II）を適用。
• Q学習に類似した更新則を用い、時間変動する学習率 α_l^k = α_l^1 / θ^k および α_f^t_e = α_f^1 / θ^t_e を採用。ここで θ = 1.1 とする。
• フォロワーの戦略適応における推測能力をモデル化するため、信念係数（δ_i = 2）を導入。
• パスロスモデルを用い、パスロス指数 n = 4 および送信電力レベル 20, 25, 30 dBm を設定。
• RLHPA-IIでは、フェアトセルが直前の時刻スロットの送信パラメータを交換することで、応答の調整を向上させる相互性を導入。

実験結果

リサーチクエスチョン

• RQ1 最小限の情報交換で、階層的強化学習フレームワークが二段階フェアトセルネットワークにおけるエネルギー効率を効果的に向上できるか。
• RQ2 マクロセルをリーダー、フェアトセルをフォロワーとするスタックルベルクゲーム構造が、効用最適化と収束性に与える影響は何か。
• RQ3 相互性に基づく戦略共有（RLHPA-II）は、非相互性学習（RLHPA-I）と比較して、収束速度および効用性能でどの程度の性能向上を達成するか。
• RQ4 マクロセルの最小QoS要件（γ₀*）が、フェアトセルの実現可能なSINRおよびエネルギー効率に与える影響は何か。
• RQ5 提案された学習ベースのアプローチは、初期戦略分布に依存せず、安定な均衡に収束するか。

主な発見

• 提案されたスタックルベルク学習ゲームは、初期電力分布にかかわらず安定な均衡に収束することが確認され、理論的収束性（定理2）を裏付けた。
• RLHPA-IおよびRLHPA-IIの両方が、完全に協力的な状況における最適水準に達する期待効用に収束する。これは定理3および定理4の妥当性を裏付ける。
• 相互性に基づく戦略共有により、RLHPA-IIはRLHPA-Iおよび非協力的学習方式を上回り、収束速度および効用性能の両面で優れた性能を示した。
• マクロセルのQoS要件（γ₀*）が高くなるにつれ、フェアトセルの期待SINRは低下し、γ₀*が高すぎると性能が著しく劣化する。
• γ₀*が十分に高い場合、フェアトセルの期待SINRはゼロに近づき、過度な干渉のためフェアトセルがすべて非アクティブになることが示された。
• 結果から、リーダー（マクロセル）は自らの戦略意思決定に加え、フォロワー（フェアトセル）の行動改善にも利益を享受し、全体のネットワークエネルギー効率が向上することが確認された。