[論文レビュー] Robust Beam Codebooks for mmWave/THz Systems: Toward a Stochastic RL Approach

Anouar Nechi, Rainer Buchty+2 more|arXiv (Cornell University)|Mar 20, 2026

Millimeter-Wave Propagation and Modeling被引用数 0

ひとこと要約

本論文は、ビームコードブック設計のための多エージェント強化学習を用い、特にSoft Actor-Critic（SAC）を活用することで、ハードウェア歪みとノイズのあるフィードバック下でmmWave/THz MIMOの堅牢なビームフォーミングを実現し、決定論的RL手法よりも性能が卓越することを示している。

ABSTRACT

Millimeter-wave (mmWave) and terahertz (THz) massive MIMO systems often rely on predefined beamforming codebooks, which are usually suboptimal in Non-Line-of-Sight (NLoS) conditions and for hardware-limited transceivers. Reinforcement Learning (RL) enables adaptive, data-driven codebook design without explicit Channel State Information (CSI), but the robustness of such algorithms in practical conditions is underexplored. This paper introduces a robust multi-agent RL framework that learns beam codebooks directly from environmental feedback, eliminating the need for prior channel knowledge. Our method is well-suited for real-world deployments facing unpredictable propagation and hardware constraints. We conduct a comprehensive analysis of three off-policy algorithms, Deep Deterministic Policy Gradient (DDPG), Twin Delayed DDPG (TD3), and Soft Actor-Critic (SAC), evaluating their resilience to hardware impairments and feedback noise. Simulations show that SAC consistently outperforms deterministic methods, achieving superior beamforming gains and stability in NLoS scenarios, even under severe impairments. These results demonstrate the promise of RL-based codebook design for robust mmWave/THz massive MIMO systems.

研究の動機と目的

• Explicit CSIなしでmmWave/THz MIMO向けの堅牢なビームコードブック設計を動機づける。
• 環境フィードバックからビームパターンを学習する多エージェントRLフレームワークを提案する。
• ハードウェア歪みとフィードバックノイズ下でRLアルゴリズムの堅牢性を評価する。
• 現実条件下でのRLベースコードブックをストレステストするベンチマーク手法を提供する。

提案手法

• アナログビームフォーマーと離散位相シフタを用いた多エージェントMDPとしてビームコードブック設計をモデル化する。
• 3つのオフポリシーアルゴリズムを比較する：DDPG、TD3（決定論的ポリシー）およびSAC（確率的ポリシー）。
• 連続アクションをハードウェア適合的位相へマッピングするKNN量子化を使用する。
• ノイズの多いフィードバックを扱い探索を改善するために三値報酬を導入する。
• 感知ビームを用いてユーザーをクラスタリングし、ハンガリアンアルゴリズムで最適な初期マッチングをエージェントへ割り当てる。
• DeepMIMOベースのデータセットを用いて、位相不一致歪みおよびAWGNフィードバックノイズ下での堅牢性を評価する。

Figure 1: Proposed Multi-Agent RL Framework. The architecture decomposes codebook design into clustering and assignment phases. Individual agents optimize beam patterns using DDPG, TD3, or SAC, where continuous actions are quantized via KNN to meet hardware constraints.

実験結果

リサーチクエスチョン

• RQ1 確率的ポリシー学習（SAC）は、ハードウェア歪みの下で決定論的RL手法（DDPG/TD3）よりも堅牢なビームコードブックを提供できるか。
• RQ2 LoSおよびNLoSのmmWave/THzシナリオで、ノイズ付きフィードバックを伴うRLベースのビームコードブック学習はどうなるか。
• RQ3 ハードウェアの欠陥がある状況で、コードブックサイズがビームフォーミングゲインと安定性に与える影響は何か。
• RQ4 大規模なアンテナアレイに対するビームパターン学習において、マルチエージェント分解はスケーラビリティと堅牢性を向上させるか。

主な発見

• SACはLoSとNLoSの両方のシナリオおよびさまざまなコードブックサイズで、DDPG/TD3より一貫して高いビームフォーミングゲインを示す。
• ハードウェア歪み下では、位相ミスマッチ分散が増加してもSACが最も堅牢で、より高いゲインを維持する。
• フィードバックノイズはすべての手法を劣化させるが、SACは劣化が遅く、ノイズなしの性能のより大きな割合を40%ノイズまでNLoSで維持する。
• SACのエントロピーパラメータによる適応的探索は、最適化されていないポリシーへの早期収束を回避することで頑健な性能を促進する。
• マルチエージェントのクラスタリングと割り当て（ハンガリアンアルゴリズム）は初期性能とスケーラビリティを向上させる。

Figure 2: Average beamforming gain versus phase mismatch standard deviation $\sigma_{p}$ in the NLoS scenario across various codebook sizes.