[論文レビュー] Pervasive Machine Learning for Smart Radio Environments Enabled by Reconfigurable Intelligent Surfaces

George C. Alexandropoulos, Kyriakos Stylianopoulos+4 more|arXiv (Cornell University)|May 8, 2022

Advanced Wireless Communication Technologies被引用数 7

ひとこと要約

本稿は、スマートラジオ環境における複数の再構成可能知能表面（RIS）の動的設定を、マルチアームドバンディット（MAB）に基づく手法で提案している。深層強化学習（DRL）の代替手段として低コストな手法を提供し、特に大規模なRIS展開において、DQNと同等のsum-rate性能を達成しながら、実行時間を著しく短縮している。

ABSTRACT

The emerging technology of Reconfigurable Intelligent Surfaces (RISs) is provisioned as an enabler of smart wireless environments, offering a highly scalable, low-cost, hardware-efficient, and almost energy-neutral solution for dynamic control of the propagation of electromagnetic signals over the wireless medium, ultimately providing increased environmental intelligence for diverse operation objectives. One of the major challenges with the envisioned dense deployment of RISs in such reconfigurable radio environments is the efficient configuration of multiple metasurfaces with limited, or even the absence of, computing hardware. In this paper, we consider multi-user and multi-RIS-empowered wireless systems, and present a thorough survey of the online machine learning approaches for the orchestration of their various tunable components. Focusing on the sum-rate maximization as a representative design objective, we present a comprehensive problem formulation based on Deep Reinforcement Learning (DRL). We detail the correspondences among the parameters of the wireless system and the DRL terminology, and devise generic algorithmic steps for the artificial neural network training and deployment, while discussing their implementation details. Further practical considerations for multi-RIS-empowered wireless communications in the sixth Generation (6G) era are presented along with some key open research challenges. Differently from the DRL-based status quo, we leverage the independence between the configuration of the system design parameters and the future states of the wireless environment, and present efficient multi-armed bandits approaches, whose resulting sum-rate performances are numerically shown to outperform random configurations, while being sufficiently close to the conventional Deep Q-Network (DQN) algorithm, but with lower implementation complexity.

研究の動機と目的

• スマートラジオ応用のため、低計算量環境において複数のRISを効率的に設定する課題に対処する。
• 複数のRISシステムにおける従来の深層強化学習（DRL）手法の高い計算コストと複雑さを克服する。
• 動的RIS位相プロファイルおよび基地局予測符号化最適化のためのスケーラブルで低遅延な制御フレームワークを開発する。
• DRLに代わる学習パラダイムを検討し、実装のオーバーヘッドを低減しながら高い性能を維持する。
• 軽量でフィードバック駆動の制御メカニズムにより、RISを活用する6Gネットワークの実用的展開を可能にする。

提案手法

• システム設計パrameterと将来のチャネル状態の間の統計的独立性を活用し、RIS設定問題をマルチアームドバンディット（MAB）問題として定式化する。
• 上界信頼区間（UCB）およびε-greedy戦略を用いて、完全なチャネル状態情報（CSI）が不要な状態で、探索と活用のバランスをとる。
• 測定された信号対干渉＋ノイズ比（SINR）フィードバックに基づく報酬関数を設計し、明示的なCSI取得を回避する。
• 比較のための汎用DRLフレームワークを実装し、深層Qネットワーク（DQN）およびニューラルε-greedyアルゴリズムを用いて最適方策を学習する。
• MABおよびDRLアプローチを統合した、マルチユーザー、マルチ-RIS、マルチアンテナ基地局構成を含む統一されたシステムモデルを構築する。
• GPU加速並列計算を用いて、RISメタアトム数の増加に伴う実行時間のスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチユーザー・マルチ-RISシステムにおけるRIS設定において、マルチアームドバンディットは、深層強化学習の代替手段として実用的かつ低コストな選択肢となるか？
• RQ2 MABベースのRIS設定の性能は、DRLベースの手法と比較して、sum-rateおよび収束速度の面でどの程度異なるか？
• RQ3 行動空間のサイズおよびRISメタアトム数が、学習アルゴリズムの実行時間およびスケーラビリティに与える影響は何か？
• RQ4 フィードバック駆動のMABアプローチは、完全なチャネル状態情報（CSI）の観測が不要な状態で、近似的に最適な性能を達成できるか？
• RQ5 提案されたMABフレームワークは、ランダム設定および全探索と比較して、性能および計算コストの面でどの程度優れているか？

主な発見

• UCBバージョンを含むMABベースの手法は、DQNベースの手法と同等のsum-rate性能を達成しながら、実行がはるかに高速である。
• UCB手法の実行時間はDQNおよびニューラルε-greedyよりも顕著に短く、128メタアトムでは1秒あたり726ステップであるのに対し、DQNは25ステップにとどまる。
• RISメタアトム数が増加するにつれて、DRL手法の実行時間はGPU並列化のおかげでわずかに増加するため、良好なスケーラビリティを示している。
• 最適（全探索）手法は、小さな行動空間（例：32メタアトム）ではDRLよりも高速であるが、メタアトム数が128を超えると実行不能になる。
• MABベースのコントローラーは、常にランダム設定を上回り、すべてのテスト環境で近似的に最適な性能を達成しており、堅牢性と実用性を示している。
• 提案されたMABフレームワークは、CSIの観測を必要とせず、SINRフィードバックのみに依存するため、6G実世界展開における実用性が向上する。