[論文レビュー] Deep reinforcement learning approach to MIMO precoding problem: Optimality and Robustness

Heunchul Lee, Maksym A. Girnyk+1 more|arXiv (Cornell University)|Jun 30, 2020

Advanced MIMO Systems Optimization参考文献 25被引用数 11

ひとこと要約

本稿では、コードブックありおよびコードブックなしの両状況において最適な precoding 策略を学習するため、DQN および DDPG アルゴリズムを用いた深層強化学習（DRL）ベースの MIMO システム用 precoding フレームワークを提案する。フレームワークは単純な MIMO 環境では近似的最適性能を示し、周波数選択的チャネルにおける従来の近似アルゴリズムを上回り、実世界の条件下でも頑健性と適応性を証明した。

ABSTRACT

In this paper, we propose a deep reinforcement learning (RL)-based precoding framework that can be used to learn an optimal precoding policy for complex multiple-input multiple-output (MIMO) precoding problems. We model the precoding problem for a single-user MIMO system as an RL problem in which a learning agent sequentially selects the precoders to serve the environment of MIMO system based on contextual information about the environmental conditions, while simultaneously adapting the precoder selection policy based on the reward feedback from the environment to maximize a numerical reward signal. We develop the RL agent with two canonical deep RL (DRL) algorithms, namely deep Q-network (DQN) and deep deterministic policy gradient (DDPG). To demonstrate the optimality of the proposed DRL-based precoding framework, we explicitly consider a simple MIMO environment for which the optimal solution can be obtained analytically and show that DQN- and DDPG-based agents can learn the near-optimal policy to map the environment state of MIMO system to a precoder that maximizes the reward function, respectively, in the codebook-based and non-codebook based MIMO precoding systems. Furthermore, to investigate the robustness of DRL-based precoding framework, we examine the performance of the two DRL algorithms in a complex MIMO environment, for which the optimal solution is not known. The numerical results confirm the effectiveness of the DRL-based precoding framework and show that the proposed DRL-based framework can outperform the conventional approximation algorithm in the complex MIMO environment.

研究の動機と目的

• 解析的チャネルモデルに依存せずに、複雑な MIMO システムにおける最適 precoding 策略を学習する DRL ベースのフレームワークの開発。
• 最適解が解析的に既知である単純な MIMO 環境において、DRL エージェントの最適性の評価。
• 最適解が存在しない複雑で現実的な MIMO 環境における DRL ベース precoding の頑健性の評価。
• コードブックありおよびコードブックなしの両 MIMO precoding システムにおける DQN と DDPG の性能比較。
• 現実の周波数選択的フェージング条件下で、DRL が従来の近似アルゴリズムをビット誤り率（BER）の観点から上回ることの実証。

提案手法

• MIMO precoding 問題は、エージェントがチャネル状態情報に基づいて precoder を選択し、報酬信号を最大化するためのマークフ・決定過程（MDP）としてモデル化される。
• 状態表現はパイロットリソース要素におけるチャネル行列の実部および虚部をベクトル化したものを用い、ニューラルネットワークの入力として3次元配列を形成する。
• コードブックあり precoding では DQN が離散的行動空間を扱い、コードブックなしシステムでは DDPG が連続的行動空間を処理する。
• 学習の安定化のため、経験リプレイとターゲットネットワークを用いて DRL エージェントを訓練し、データリソース要素における測定 BER を基礎とした報酬関数を採用する。
• DQN および DDPG エージェントの両方で、3層の隠れ層（3840、512、128 ニューロン）と ReLU 活性化関数を備えた全結合ニューラルネットワークが使用される。
• 300万のサブバンドで事前学習した後、未学習のサブバンドで性能を評価し、2タップ TDL チャネルモデルを用いた 4-QAM および 16-QAM 変調が用いられた。

実験結果

リサーチクエスチョン

• RQ1 解析的に最適解が既知の単純な MIMO 環境において、DRL エージェントは近似的最適 precoding 策略を学習できるか？
• RQ2 複雑な周波数選択的 MIMO チャネルにおいて、DQN と DDPG の性能は従来の近似アルゴリズムを上回るか？
• RQ3 最適解が未知の環境において、DRL ベース precoding フレームワークは頑健性と適応性を維持できるか？
• RQ4 現実の 4×2 MIMO-OFDM システム条件下で、DRL は従来手法をビット誤り率（BER）の観点からどの程度上回るか？
• RQ5 DQN/DDPG の構造と、コードブックありおよびコードブックなし MIMO precoding の設計原則との間に自然な整合性があるか？

主な発見

• DQN および DDPG エージェントは、解析的に最適な解が既知の単純な MIMO 環境において、近似的最適 precoding 策略を成功裏に学習し、解析的最適解に非常に近い結果を達成した。
• 周波数選択的チャネル（TDL モデル）の複雑な環境において、DRL ベースのフレームワークは 4-QAM および 16-QAM 変調の両方において、従来の近似アルゴリズムを BER の観点から上回った。
• DRL フレームワークは従来手法よりも低いビット誤り率を達成し、BER に基づく報酬の累積分布関数（CDF）分析により、性能向上が確認された。
• 事前学習後、未学習のサブバンドにおいても DRL エージェントは優れた一般化性能を示し、新たなチャネル状態への適応性の高さを示した。
• フレームワークはコードブックありおよびコードブックなしの両 precoding モードにおいて一貫した優位性を示し、広範な適用可能性を裏付けた。
• 結果から、DRL は将来の 6G ワイヤレスシステムにおける従来の最適化ベース precoding の実用的で高性能な代替手段として機能できることを確認した。