[論文レビュー] Exploiting Multiple Intelligent Reflecting Surfaces in Multi-Cell Uplink MIMO Communications.

Jung-Hoon Kim, Seyyedali Hosseinalipour+3 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Wireless Communication Technologies被引用数 6

ひとこと要約

本稿は、動的チャネルおよび部分的チャネル状態情報（CSI）の下で、複数のインテリジェントリフレクティングサーフェス（IRS）を備えたマルチセルアップリンクMIMOシステムにおけるスルーレート最大化のためのマルチエージェントディープレインフォースメントラーニング（DRL）フレームワークを提案する。非定常性を低減するための局所的メッセージパッシングを用い、ユーザーの送信電力、IRSの位相シフト、基地局のコンビーナーを共同最適化することで、固定電力および従来の結合方式に比べ顕著なレート向上を達成する。

ABSTRACT

Applications of intelligent reflecting surfaces (IRSs) in wireless networks have attracted significant attention recently. Most of the relevant literature is focused on the single cell setting where a single IRS is deployed, while static and perfect channel state information (CSI) is assumed. In this work, we develop a novel methodology for multi-IRS-assisted multi-cell networks in the uplink. We formulate the sum-rate maximization problem aiming to jointly optimize the IRS reflect beamformers, base station (BS) combiners, and user equipment (UE) transmit powers. In this optimization, we consider the scenario in which (i) channels are dynamic and (ii) only partial CSI is available at each BS; specifically, scalar effective channels of local UEs and some of the interfering UEs. In casting this as a sequential decision making problem, we propose a multi-agent deep reinforcement learning algorithm to solve it, where each BS acts as an independent agent in charge of tuning the local UEs transmit powers, the local IRS reflect beamformer, and its combiners. We introduce an efficient message passing scheme that requires limited information exchange among the neighboring BSs to cope with the non-stationarity caused by the coupling of actions taken by multiple BSs. Our numerical simulations show that our method obtains substantial improvement in average data rate compared to several baseline approaches, e.g., fixed UEs transmit power and maximum ratio combining.

研究の動機と目的

• 複数のインテリジェントリフレクティングサーフェス（IRS）を備えたマルチセルアップリンクMIMOネットワークにおける合計スルーレート最大化の課題に対処すること。
• 基地局で利用可能なスカラー有効チャネル（局所的および一部の干渉ユーザー向け）のみが分かっている動的無線チャネルおよび部分的CSIを扱うこと。
• 分散的にユーザー機器（UE）の送信電力、IRSの反射ビームフォーマー、基地局（BS）のコンビーナーを共同最適化すること。
• 複数基地局の相互依存的行動に起因するマルチエージェント強化学習における非定常性を、効率的なメッセージパッシング機構により軽減すること。

提案手法

• 部分的CSIおよび動的チャネルの下で、合計スルーレート最大化問題を逐次意思決定問題として定式化する。
• 各基地局が独立したエージェントとして機能し、局所的UEの送信電力、IRSの位相シフト、コンビーナーを最適化するマルチエージェントディープレインフォースメントラーニング（MADRL）フレームワークを導入する。
• 隣接する基地局間での限られた情報交換を通じて行動を調整し、非定常性を低減する局所的メッセージパッシング方式を導入する。
• マルチエージェント環境における学習の安定化のため、経験リプレイおよびターゲットネットワークを用いたディープQネットワーク（DQN）を採用する。
• 微分可能パラメータライゼーションを用いてIRSの反射係数を連続変数としてモデル化し、強化学習フレームワーク内での勾配ベース最適化を可能にする。
• 協調性とスケーラビリティのバランスを図るため、集中学習・分散実行（CTDE）パラダイムを採用する。

実験結果

リサーチクエスチョン

• RQ1 動的チャネルおよび部分的CSIの下で、複数のIRSを備えたマルチセルアップリンクMIMOシステムにおける合計スルーレート最大化はどのように達成できるか？
• RQ2 分散最適化環境において、複数の基地局の相互依存的行動が引き起こす非定常性の影響は何か？
• RQ3 マルチエージェント強化学習フレームワークにおいて、IRS支援ネットワークの性能を維持しつつ、協調オーバーヘッドを低減するためのメッセージパッシング機構はどの程度有効か？
• RQ4 ユーザー電力、IRSビームフォーミング、BSコンビーナーの共同最適化は、従来の固定電力および最大比結合方式を上回る性能を発揮できるか？
• RQ5 IRS支援マルチセルアップリンクシステムにおいて、完全CSIと比較して部分CSIではどの程度の性能向上が達成可能か？

主な発見

• 提案されたマルチエージェントDRLアプローチは、固定ユーザー送信電力や最大比結合方式といったベースライン手法と比較して、平均合計スルーレートにおいて顕著な向上を達成する。
• メッセージパッシング機構により非定常性が著しく低減され、限られた基地局間通信量でも安定した学習が可能になる。
• 動的チャネル状態および部分的CSIの下でも高い性能を維持し、実用的展開シナリオにおけるロバストネスを示す。
• 送信電力、IRS位相シフト、BSコンビーナーの共同最適化は、単一の要素を別々に最適化するのとは対照的に、より高いスペクトル効率の向上をもたらす。
• 複数のIRSを備えたマルチセル環境に対しても、本アルゴリズムは効果的にスケーリングされ、さまざまなネットワーク構成において一貫した性能向上を示す。