[論文レビュー] On the Robustness of Deep Reinforcement Learning in IRS-Aided Wireless Communications Systems

Amal Feriani, Amine Mezghani+1 more|arXiv (Cornell University)|Jul 17, 2021

Advanced Wireless Communication Technologies被引用数 5

ひとこと要約

本稿は、インテリジェントリフレクティングサーフェス（IRS）を支援するMISOダウンリンクシステムにおける位相シフトの最適化に、深層強化学習（DRL）を適用し、VAMP や ADMM といった従来手法と比較する。DRL はチャネル状態情報（CSI）の誤差やユーザー移動性に対して優れたロバスト性を示し、ノイズや距離の変化に対しても安定したSNR性能を維持する一方、従来手法は著しく性能を低下させる。

ABSTRACT

We consider an Intelligent Reflecting Surface (IRS)-aided multiple-input single-output (MISO) system for downlink transmission. We compare the performance of Deep Reinforcement Learning (DRL) and conventional optimization methods in finding optimal phase shifts of the IRS elements to maximize the user signal-to-noise (SNR) ratio. Furthermore, we evaluate the robustness of these methods to channel impairments and changes in the system. We demonstrate numerically that DRL solutions show more robustness to noisy channels and user mobility.

研究の動機と目的

• IRS支援無線通信におけるチャネル劣化およびシステムダイナミクスに対するDRLのロバスト性を評価すること。
• 不完全なCSIおよびユーザー移動性下でのDRLの性能を、従来の最適化手法（VAMPおよびADMM）とベンチマークすること。
• DRLが完全なCSIに依存せずに高い性能を維持できるかどうかを評価し、従来手法に実用的利点を提供するかどうかを検証すること。
• 摂動下での推論速度およびSNR劣化を定量的に評価し、DRLのリアルタイム適用可能性を強調すること。
• CSIがノイズが多いか古くなっている現実世界のシナリオにおいて、DRLの耐性を実用的に評価すること。

提案手法

• DRLエージェントは、ユーザーのSNRに基づく報酬を用いて、マルコフ決定過程（MDP）フレームワークでIRS位相シフトを最適化する。
• DRLエージェントは、推論時に明示的なチャネル状態情報（CSI）を必要とせず、エンドツーエンドでポリシーを学習する。
• ビームフォーミングベクトルは、固定された位相シフト行列に対して最大比伝送（MRT）を用いて計算される。
• 不確実なCSIを用いた評価には確率的モデルを用いる：$\mathbf{H}[t] = \sqrt{\epsilon}\mathbf{H}[t-1] + \sqrt{1-\epsilon}\mathbf{w}[t]$、ここで$\mathbf{w}[t]$はi.i.d. CN(0,1)に従う。
• ユーザー移動性は、基地局とユーザー間の距離を5–25 mのステップで増加させることでシミュレートされ、事前に計算された最適位相シフトを用いてSNRが測定される。
• 推論時間は1000回の実現で測定され、DRLの速度を反復的アルゴリズム（VAMPおよびADMM）と比較する。

実験結果

リサーチクエスチョン

• RQ1 完全なCSI下で、DRLの性能はVAMPおよびADMMと比べてSNR面でどのように異なるか？
• RQ2 ノイズ混じりまたは不完全なCSI下で、DRLはどのように性能を維持するか？また、VAMPおよびADMMと比べてどうなるか？
• RQ3 ユーザー移動性が、DRLと従来の最適化手法のSNR性能に与える影響は何か？
• RQ4 DRLの推論速度は、VAMPやADMMなどの反復的最適化アルゴリズムと比べてどうなるか？
• RQ5 チャネル摂動下でDRLの性能はどの程度劣化するか？また、CSI依存手法と比べてどうなるか？

主な発見

• 完全なCSI下では、VAMPが最高のSNRを達成し、次にADMM、DRLの順に性能が劣るが、DRLはCSIを必要とせずほぼ最適性能を達成している。
• 高レベルのCSIノイズ（$\epsilon = 0.9$）下では、VAMPのSNRは16 dB以上劣化するが、DRLの劣化はわずか3 dB程度にとどまる。
• ADMMはCSI誤り下で顕著な性能劣化を示し、完全なCSI下ではDRLを上回るが、ロバスト性においてDRLに劣る。
• ユーザー距離が最大25 mまで増加しても、DRLはほぼ一定のSNRを維持するが、VAMPおよびADMMは著しい性能低下を示す。
• DRLの推論時間は、256個のIRS要素であっても常に0.7 ms未満であり、VAMPおよびADMMは100 ms以上を要するため、DRLのリアルタイム優位性が顕著に現れる。
• DRLの学習曲線は、IRS要素数の増加に伴い報酬が向上するが、追加要素ごとのSNR向上は減少し、収益逓減の傾向が示される。