[論文レビュー] Hierarchical Reinforcement Learning for Relay Selection and Power Optimization in Two-Hop Cooperative Relay Network

Yuanzhe Geng, Erwu Liu+2 more|arXiv (Cornell University)|Nov 10, 2020

Cooperative Communication and Network Coding参考文献 33被引用数 5

ひとこと要約

本稿では、全功率制約下で、事前チャネル状態情報（CSI）を必要とせずに停電確率を最小化することを目的として、2ホップ協調リレーネットワークにおけるリレーセレクションとパワー割り当てのための階層的強化学習（HRL）フレームワークを提案する。問題を2段階に分解することで、リレーセレクションとパワー割り当てに分けることにより、探索空間の複雑さが低減され、スパース報酬環境における効率的な探索が可能となり、深層強化学習（DRL）ベースラインと比較して5%低い停電確率と、30回の反復早い収束を達成した。

ABSTRACT

Cooperative communication is an effective approach to improve spectrum utilization. In order to reduce outage probability of communication system, most studies propose various schemes for relay selection and power allocation, which are based on the assumption of channel state information (CSI). However, it is difficult to get an accurate CSI in practice. In this paper, we study the outage probability minimizing problem subjected to a total transmission power constraint in a two-hop cooperative relay network. We use reinforcement learning (RL) methods to learn strategies for relay selection and power allocation, which do not need any prior knowledge of CSI but simply rely on the interaction with communication environment. It is noted that conventional RL methods, including most deep reinforcement learning (DRL) methods, cannot perform well when the search space is too large. Therefore, we first propose a DRL framework with an outage-based reward function, which is then used as a baseline. Then, we further propose a hierarchical reinforcement learning (HRL) framework and training algorithm. A key difference from other RL-based methods in existing literatures is that, our proposed HRL approach decomposes relay selection and power allocation into two hierarchical optimization objectives, which are trained in different levels. With the simplification of search space, the HRL approach can solve the problem of sparse reward, while the conventional RL method fails. Simulation results reveal that compared with traditional DRL method, the HRL training algorithm can reach convergence 30 training iterations earlier and reduce the outage probability by 5% in two-hop relay network with the same outage threshold.

研究の動機と目的

• 全パワー制約下で2ホップ協調リレーネットワークにおける停電確率を最小化する課題に対処すること。
• 実際には入手困難なため、完璧なチャネル状態情報（CSI）を必要とする従来の最適化手法の限界を克服すること。
• チャネル統計に関する事前仮定なしに、環境との相互作用を通じて最適なリレーセレクションおよびパワー割り当て方策を学習する強化学習ベースのソリューションを開発すること。
• 従来の深層強化学習（DRL）手法が低効率な探索により困難をきたす高次元の行動空間におけるスパース報酬問題に取り組むこと。
• 共同最適化を2つの部分問題に分解することで、学習を簡素化し、サンプル効率を向上させる階層的フレームワークを設計すること。

提案手法

• 通信の成功または失敗のみを信号とする停電ベースのバイナリ報酬関数を提案し、即時のSNRや相互情報量のような連続的フィードバックの必要を回避する。
• リレーセレクション（上位方策）とパワー割り当て（下位方策）を分離する階層的強化学習（HRL）フレームワークを設計し、有効な探索空間を縮小する。
• 2段階の学習アルゴリズムを実装：上位エージェントが現在の状態に基づいてリレータを選択し、下位エージェントが選択されたリレータの最適パワー割り当てを決定する。
• 上位方策および下位方策の両方で深層Qネットワーク（DQN）を用い、経験再生とターゲットネットワークを活用して学習の安定性を向上させる。
• アンプライファンドフォワード（AF）およびデコードアンドフォワード（DF）プロトコルに従うシミュレーテッド2ホップリレーエンターレインメントと相互作用することで、HRLエージェントをエンドツーエンドで訓練する。
• 総パワーを数え上げ可能なレベルに離散化するパワー割り当て方式を適用し、学習に耐えうる行動空間とする。

実験結果

リサーチクエスチョン

• RQ1 チャネル状態情報（CSI）の事前知識がなくても、強化学習ベースのアプローチが2ホップ協調リレーネットワークにおける停電確率を効果的に最小化できるか？
• RQ2 従来のDRLと比較して、リレーセレクションとパワー割り当ての階層的分解が、高次元かつスパース報酬環境における学習効率をどのように向上させるか？
• RQ3 従来のDRL手法と比較して、提案されたHRLフレームワークは、停電確率をどの程度低減し、収束をどの程度早めるか？
• RQ4 トレーニング時に見られなかった異なる停電閾値および通信プロトコル（AF対DF）に一般化した際、HRL方策のロバストネスはどの程度か？
• RQ5 大規模な行動空間における標準DRLが直面するスパース報酬問題を、HRLフレームワークは効果的に克服できるか？

主な発見

• 同じ停電閾値および全パワー制約下で、DRLベースラインと比較してHRL手法は停電確率を5%低減した。
• アンプライファンドフォワード（AF）およびデコードアンドフォワード（DF）の両通信環境において、HRLエージェントはDRL手法よりも30回の訓練反復早く収束した。
• 探索空間が大きい環境（多数のリレータおよびパワーレベル）では、DRL手法がスパース報酬と低いサンプル効率に苦しんでおり、収束後の平均成功確率が5%低下した。
• HRL方策は異なる停電閾値にわたって良好に一般化する：λ = 1.8のとき、HRLは大規模な探索空間で停電確率を0.04未満に保ち、DRLはほぼ0.8に達し、ランダム選択は1.0に近づいた。
• HRLフレームワークは、階層的分解による探索空間の単純化により、スパース報酬問題を効果的に緩和し、より一貫性があり安定した学習を可能にした。
• 異なる閾値でテストした際、HRL方策は停電確率を0.03未満に維持し、より大きな空間で学習したDRL方策と比較して優れたロバストネスを示した。