[論文レビュー] Machine Learning for User Partitioning and Phase Shifters Design in RIS-Aided NOMA Networks

Zhong Yang, Yuanwei Liu+2 more|arXiv (Cornell University)|Jan 4, 2021

Advanced Wireless Communication Technologies参考文献 50被引用数 7

ひとこと要約

本稿では、RIS支援NOMAネットワークにおける共同ユーザ分割と位相シフト最適化のための機械学習駆動フレームワークを提案する。クラスタリングには改変されたMOMAアルゴリズムを、動的RISビームフォーミングにはDDPGベースの強化学習アプローチを用いる。本手法は、従来のOMAおよびランダム位相シフト戦略と比較して顕著な合計スループット向上を達成しており、RISの位相シフト分解能が高くなるほど、反射素子の数が多いほど性能が向上する。

ABSTRACT

A novel reconfigurable intelligent surface (RIS) aided non-orthogonal multiple access (NOMA) downlink transmission framework is proposed. We formulate a long-term stochastic optimization problem that involves a joint optimization of NOMA user partitioning and RIS phase shifting, aiming at maximizing the sum data rate of the mobile users (MUs) in NOMA downlink networks. To solve the challenging joint optimization problem, we invoke a modified object migration automation (MOMA) algorithm to partition the users into equal-size clusters. To optimize the RIS phase-shifting matrix, we propose a deep deterministic policy gradient (DDPG) algorithm to collaboratively control multiple reflecting elements (REs) of the RIS. Different from conventional training-then-testing processing, we consider a long-term self-adjusting learning model where the intelligent agent is capable of learning the optimal action for every given state through exploration and exploitation. Extensive numerical results demonstrate that: 1) The proposed RIS-aided NOMA downlink framework achieves an enhanced sum data rate compared with the conventional orthogonal multiple access (OMA) framework. 2) The proposed DDPG algorithm is capable of learning a dynamic resource allocation policy in a long-term manner. 3) The performance of the proposed RIS-aided NOMA framework can be improved by increasing the granularity of the RIS phase shifts. The numerical results also show that reducing the granularity of the RIS phase shifts and increasing the number of REs are two efficient methods to improve the sum data rate of the MUs.

研究の動機と目的

• RIS支援NOMA下行リンクネットワークにおいて、合計データレートを最大化するための共同ユーザ分割とRIS位相シフト最適化の課題に対処すること。
• 移動ユーザを伴う動的無線環境における確率的で長期的な最適化の複雑さに対処すること。
• 時間経過に伴い最適な行動を探索・活用できる自己調整型学習モデルを構築すること。
• RIS位相シフトの細分化度と反射素子の数がシステム性能に与える影響を評価すること。

提案手法

• NOMA伝送のための等サイズクラスタにユーザを分割するために、改変されたオブジェクト移行自動化（MOMA）アルゴリズムを用いる。
• リアルタイムでのRIS位相シフト行列最適化を目的とした、ディープ決定的方策勾配（DDPG）強化学習エージェントを設計する。
• 事前学習モデルを必要とせず、長期的学習フレームワーク内での連続的探索と活用を通じて、動的方策を学習する。
• エージェントは、現在のチャネル状態に基づいて行動（位相シフト）を選択するマルコフ意思決定過程として無線環境をモデル化する。
• 価値関数近似には、予測値関数と真の値関数の平均二乗誤差（MSE）を最小化するための確率的勾配降下法（SGD）を用いる。
• 繰り返し更新と勾配に基づく最適化を通じて、損失関数のグローバル最小化に収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 RIS支援NOMAフレームワークは、従来のRIS支援OMAと比較して、合計データレートにおいて顕著に優れているか？
• RQ2 強化学習による動的RIS位相シフトは、ランダムまたは固定位相シフト戦略と比較して性能を向上させるか？
• RQ3 パrameterとしての位相シフト細分化度と反射素子数のどちらが、性能向上により大きな影響を与えるか？
• RQ4 事前学習データが不要な長期的自己調整型学習モデルは、ユーザクラスタリングと位相シフトの最適化を効果的に行えるか？
• RQ5 DRLとRISおよびNOMAの統合は、動的環境におけるシステムのスケーラビリティと適応性にどのように影響を与えるか？

主な発見

• 提案されたRIS支援NOMAフレームワークは、従来のOMAと比較して高い合計スループットを達成しており、RISとNOMAの共同最適化の有効性を示している。
• DDPGベースの学習モデルは、時間経過とともに動的リソース割り当て方策を学習し、変化するチャネル状態に継続的に適応可能である。
• RIS位相シフトの細分化度を向上させることで、合計スループットの測定可能な向上が得られる。
• 位相シフトの細分化度を低下させるとともに、反射素子の数を増やすことは、移動ユーザの合計スループット向上に両方効果的な戦略である。
• 提案手法は損失関数のグローバル最小化に収束し、時間経過に伴い安定的かつ最適な方策学習を保証する。