[論文レビュー] Mobile Reconfigurable Intelligent Surfaces for NOMA Networks: Federated Learning Approaches

Ruikang Zhong, Xiao Liu+3 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Wireless Communication Technologies被引用数 7

ひとこと要約

本稿では、室内無線ネットワークにおけるスペクトル効率およびユーザー容量を向上させるために、非直交多重アクセス（NOMA）と統合されたモバイル再構成可能知能表面（RIS）システムを提案する。フェデレーテッドラーニング強化型のディープデターミニスティックポリシー勾配（FL-DDPG）アルゴリズムを採用することで、RISの移動性、位相シフト、電力割り当てを統合最適化し、固定RISに比べて最大3倍のデータレート向上と、OMAに比べて42％の合計レート向上を達成した。

ABSTRACT

A novel framework of reconfigurable intelligent surfaces (RISs)-enhanced indoor wireless networks is proposed, where an RIS mounted on the robot is invoked to enable mobility of the RIS and enhance the service quality for mobile users. Meanwhile, non-orthogonal multiple access (NOMA) techniques are adopted to further increase the spectrum efficiency since RISs are capable to provide NOMA with artificial controlled channel conditions, which can be seen as a beneficial operation condition to obtain NOMA gains. To optimize the sum rate of all users, a deep deterministic policy gradient (DDPG) algorithm is invoked to optimize the deployment and phase shifts of the mobile RIS as well as the power allocation policy. In order to improve the efficiency and effectiveness of agent training for the DDPG agents, a federated learning (FL) concept is adopted to enable multiple agents to simultaneously explore similar environments and exchange experiences. We also proved that with the same random exploring policy, the FL armed deep reinforcement learning (DRL) agents can theoretically obtain a reward gain compare to the independent agents. Our simulation results indicate that the mobile RIS scheme can significantly outperform the fixed RIS paradigm, which provides about three times data rate gain compare to the fixed RIS paradigm. Moreover, the NOMA scheme is capable to achieve a gain of 42% in contrast with the OMA scheme in terms of sum rate. Finally, the multi-cell simulation proved that the FL enhanced DDPG algorithm has a superior convergence rate and optimization performance than the independent training framework.

研究の動機と目的

• 遮蔽された室内環境におけるモバイルユーザーの制限された視線（LoS）および劣悪なチャネル品質に対処する。
• 固定RIS配置の限界を克服し、動的でロボット搭載のRIS移動性を可能にすることで、信号カバレッジを適応的に改善する。
• スーパーポジションコーディングと逐次干渉キャンセレーションを可能にするNOMAを活用し、RIS支援ネットワークにおけるスペクトル効率とユーザー容量を向上させる。
• 複数セルの強化学習における分散RISネットワークのスケーラブルでプライバシー保護型の訓練フレームワークを構築する。

提案手法

• ロボットに搭載されたモバイルRISを導入し、モバイルユーザーへの最適な信号反射を実現するため、動的に再配置および位相シフトを調整する。
• NOMAをRISに統合し、人工的なチャネル制御を活用して、スーパーポジションプレフィンギングによりユーザーの公平性とスペクトル効率を向上させる。
• QoS制約下で合計レートを最大化するため、RIS配置、位相シフト、電力割り当ての共同最適化問題を定式化する。
• RIS移動性およびビームフォーミングの連続的アクション空間制御に、ディープデターミニスティックポリシー勾配（DDPG）を適用する。
• フェデレーテッドラーニング（FL）を用いてDDPGの訓練を強化し、異なるセルに存在する複数のエージェントが共有されるグローバルモデル更新を用いて協調的に学習可能にするとともに、データプライバシーを保護する。
• エージェントからの局所勾配をグローバルニューラルネットワークモデルで集約し、動的環境における探索多様性と収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 遮蔽された室内環境において、固定RISと比較してモバイルRISの導入がスペクトル効率およびユーザーのデータレートを顕著に向上させるか？
• RQ2 動的RISビームフォーミングを組み合わせた場合、RIS支援ネットワークにおいてNOMAが、直交多重アクセス（OMA）を上回る程度の性能向上を達成するか？
• RQ3 フェデレーテッドラーニングは、マルチセルモバイルRISネットワークにおける強化学習エージェントの訓練効率および収束性をどのように向上させるか？
• RQ4 環境の不均一性（例：異なる fading 特性）が、分散RISシステムにおけるFL強化型DRLの性能に与える影響は何か？

主な発見

• モバイルRIS方式は、RISなしの状況に比べて約30.1％のデータレート向上を達成し、固定RIS方式（12.4％の向上）を著しく上回った。
• OMAに比べ、動的デコード順序を採用したNOMAベースのシステムは42％の合計レート向上を達成し、RIS支援ネットワークにおけるパワー・ドメイン多重化の有効性を示した。
• FL強化型DDPGアルゴリズムは、独立したDRL訓練に比べて40％の訓練時間を短縮し、150エピソードで単セルベースラインと同等の性能を達成した（単セル基準：250エピソード）。
• 高い環境多様性（DF = 1、独立したチャネル特性を示す）下でも、FL-DDPGフレームワークは安定した収束を維持し、単セルケースと同等の合計レートを達成した。
• 動的配置を有するモバイルRISは、固定RISに比べて15.1％のデータレート向上を達成し、固定RISとRISなしの間の性能ギャップを上回った。
• DRLによる位相シフト最適化は、静的デコード順序に比べ10.2％の向上を達成した。一方、ランダム位相シフトはRISなしの状況に比べて僅かな改善に留まり、知能制御の必要性を強調した。