[論文レビュー] Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks

Shimin Gong, Jiaye Lin+4 more|arXiv (Cornell University)|Aug 29, 2020

Advanced Wireless Communication Technologies参考文献 15被引用数 7

ひとこと要約

本稿では、知能反射表面（IRS）支援無線ネットワークにおける共同アクティブ・パasiveビームフォーミングの最適化駆動型深層強化学習（DRL）フレームワークを提案する。制御変数を外側ループのDRLと内側ループの最適化に分割することにより、収束速度が向上し、報酬の分散が低減され、スケーラビリティが向上する。モデルフリーDRLに比べて、特に大規模なIRSおよびAPアンテナアレイにおいて、より速い学習と優れた性能を達成する。

ABSTRACT

Intelligent reflecting surface (IRS) has been recently employed to reshape the wireless channels by controlling individual scattering elements' phase shifts, namely, passive beamforming. Due to the large size of scattering elements, the passive beamforming is typically challenged by the high computational complexity and inexact channel information. In this article, we focus on machine learning (ML) approaches for performance maximization in IRS-assisted wireless networks. In general, ML approaches provide enhanced flexibility and robustness against uncertain information and imprecise modeling. Practical challenges still remain mainly due to the demand for a large dataset in offline training and slow convergence in online learning. These observations motivate us to design a novel optimization-driven ML framework for IRS-assisted wireless networks, which takes both advantages of the efficiency in model-based optimization and the robustness in model-free ML approaches. By splitting the decision variables into two parts, one part is obtained by the outer-loop ML approach, while the other part is optimized efficiently by solving an approximate problem. Numerical results verify that the optimization-driven ML approach can improve both the convergence and the reward performance compared to conventional model-free learning approaches.

研究の動機と目的

• IRS支援ネットワークにおけるモデルフリー機械学習の高い計算複雑性と遅い収束を解決すること。
• 大規模IRSシステムにおけるオフライン学習のデータ集約性とオンライン学習の不安定性を克服すること。
• モデルベース最適化の効率性とモデルフリー学習のロバスト性を統合し、共同アクティブ・パasiveビームフォーミングを実現すること。
• ビームフォーミング問題の構造的性質を活用して、DRLの行動空間を縮小すること。
• 動的無線環境における知能反射表面のスケーラブルでリアルタイムな展開を可能にすること。

提案手法

• 制御変数（位相シフトと電力割り当て）を二つに分割：一方は内側ループの凸近似により最適化し、他方は外側ループのDDPGにより学習する。
• 内側ループでは、半定値緩和（SDR）を用いて簡略化されたビームフォーミング問題を解き、DRLエージェントに迅速かつ近似的最適なフィードバックを提供する。
• DDPGエージェントは、縮小された行動空間上で最適方策を学習し、安定した学習を実現するためのターゲットネットワークとリプレイバッファを用いる。
• 報酬関数は重み付き和スペクトル効率と送信電力最小化に基づき、方策学習をガイドする。
• 最適化ステップをDRLループに統合し、より良いターゲット値推定を実現することで、学習効率を向上させる。
• 本手法は、IRSサイズとAPアンテナ数を変化させたマルチユーザーMIMO環境で評価されている。

実験結果

リサーチクエスチョン

• RQ1 最適化駆動型DRLフレームワークは、IRSビームフォーミングにおける行動空間の縮小と収束速度の向上を達成できるか？
• RQ2 モデルベース最適化の統合は、IRSシステムにおけるモデルフリーDRLの安定性と性能をどのように向上させるか？
• RQ3 IRS素子数およびAPアンテナ数の増加に伴い、提案フレームワークのスケーラビリティはいかほどか？
• RQ4 動的チャネル環境下で、報酬の分散と収束速度が従来のモデルフリーDRLと比べてどのように異なるか？
• RQ5 大規模IRS展開において、計算オーバーヘッドを低減しつつ、性能の向上を維持できるか？

主な発見

• 最適化駆動型DDPGは、従来のモデルフリーDDPGに比べて収束が著しく速く、報酬の分散が低く、早期に安定化する。
• 本手法は、モデルフリーDDPGに比べて平均送信電力を30％低減し、エネルギー効率の向上を示した。
• 最適化駆動型DDPGの報酬分散は顕著に小さく、より安定した学習パフォーマンスを示している。
• 決定エポックあたりの実行時間は、IRSサイズおよびAPアンテナ数の増加に対してもほぼ一定を維持しており、優れたスケーラビリティを示している。
• SDRベースの最適化に比べて実行時間効率が優れており、性能は同等を維持しているため、リアルタイム展開に適している。
• DRLループ内に最適化を統合することで、特に初期学習段階で学習効率が向上するが、学習が収束に近づくと効果の逓減が見られる。