[論文レビュー] A Reinforcement Learning Approach for an IRS-assisted NOMA Network

Ximing Xie, Shiyu Jiao+1 more|arXiv (Cornell University)|Jun 17, 2021

Advanced Wireless Communication Technologies参考文献 10被引用数 8

ひとこと要約

本稿では、NOMA下行リンクネットワークにおける基地局のビームフォーミングとインテリジェント反射表面（IRS）の位相シフトを共同最適化するため、深層決定的方策勾配（DDPG）に基づく強化学習アルゴリズムを提案している。この手法により、合計スループットの最大化が達成され、時間変動および固定チャネル環境の両方で競争力ある性能を示し、ランダムなビームフォーミングおよび位相シフト戦略を上回る。

ABSTRACT

This letter investigates a sum rate maximizationproblem in an intelligent reflective surface (IRS) assisted non-orthogonal multiple access (NOMA) downlink network. Specif-ically, the sum rate of all the users is maximized by jointlyoptimizing the beams at the base station and the phase shiftat the IRS. The deep reinforcement learning (DRL), which hasachieved massive successes, is applied to solve this sum ratemaximization problem. In particular, an algorithm based on thedeep deterministic policy gradient (DDPG) is proposed. Both therandom channel case and the fixed channel case are studied inthis letter. The simulation result illustrates that the DDPG basedalgorithm has the competitive performance on both case.

研究の動機と目的

• 非凸最適化を伴うIRS支援NOMA下行リンクネットワークにおける合計スループット最大化の課題に対処すること。
• 基地局のビームフォーミングベクトルとIRSの位相シフトを共同最適化することでスペクトル効率を向上させること。
• 時間変動および固定無線チャネルに適応可能なデータ駆動型で学習ベースのソリューションを開発すること。
• 動的環境において効果が低い従来の凸最適化の限界を克服すること。
• 複雑な無線リソース割り当て問題における深層強化学習の実現可能性と優位性を示すこと。

提案手法

• 非凸合計スループット最大化問題を解くために、深層決定的方策勾配（DDPG）アルゴリズムが採用されている。
• DDPGエージェントは、チャネル状態情報のフィードバックに基づいて、ビームフォーミングベクトルとIRSの位相シフトを選択する学習を行う。
• 状態空間には直接リンクおよび反射リンクのCSIが含まれるのに対し、行動空間にはビームフォーミングベクトルと位相シフト値が含まれる。
• 経験再生を安定化させるために、遷移（状態、行動、報酬、次状態）を格納するリプレイバッファが使用されている。
• Q値ネットワークおよび方策ネットワークのターゲットネットワークは、ソフト更新により更新されており、学習の安定性が向上している。
• 報酬関数は、高い合計スループットと制約の順守を促進するように設計されており、送信パワー制約やサービス品質制約の違反に対してペナルティが課される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、IRS支援NOMAネットワークにおけるビームフォーミングと位相シフトの最適化に有効に機能するか？
• RQ2 DDPGベースのアルゴリズムは、時間変動および固定チャネル条件下でどのように性能を示すか？
• RQ3 提案されたRL手法は、合計スループットにおいて、ランダムなビームフォーミングおよび位相シフト設定を上回るか？
• RQ4 DDPGエージェントは、事前学習データが不要な状態で、時間変動するチャネル変動に適応できるか？
• RQ5 IRS要素数と送信パワーの変更が、RL最適化下でのシステム合計スループットに与える影響は何か？

主な発見

• DDPGベースのアルゴリズムは、時間変動および固定チャネル環境の両方で安定した収束を示し、訓練エポックが進むにつれて蓄積報酬が増加する。
• 時間変動チャネルの場合、アルゴリズムは効果的に適応し、チャネルのフラクチュエーションに対して頑健であることが示された。
• 固定チャネルの場合、報酬がより安定しており、一貫した方策学習が行われていることが示された。
• 送信パワーが高くなるほど、およびIRS要素数が増加するほど合計スループットが向上し、スケーラビリティが確認された。
• 提案されたDDPG最適化ビームフォーミングと位相シフトは、ランダム設定に比べて合計スループット性能で顕著に優れている。
• 教師あり学習データに依存せず、動的無線環境に適した手法であることが示された。