[論文レビュー] Data-Aided Channel Estimator for MIMO Systems via Reinforcement Learning

Yo–Seb Jeon, Jun Li+2 more|arXiv (Cornell University)|Mar 23, 2020

Advanced MIMO Systems Optimization参考文献 11被引用数 4

ひとこと要約

本稿では、MIMOシステムにおける強化学習に基づくデータ支援チャネル推定器を提案する。この手法は、チャネル推定誤差を低減するために、検出されたシンボルベクトルを追加のパイロット信号として選択的に使用する。選択問題をマルコフ意思決定過程（MDP）として定式化し、強化学習を用いて閉形式の最適方策を導出することで、反復処理を伴わずパイロットオーバーヘッドを増加させることなく、より低いMSEと改善されたブロック誤り率を達成する。

ABSTRACT

This paper presents a data-aided channel estimator that reduces the channel estimation error of the conventional linear minimum-mean-squared-error (LMMSE) method for multiple-input multiple-output communication systems. The basic idea is to selectively exploit detected symbol vectors obtained from data detection as additional pilot signals. To optimize the selection of the detected symbol vectors, a Markov decision process (MDP) is defined which finds the best selection to minimize the mean-squared-error (MSE) of the channel estimate. Then a reinforcement learning algorithm is developed to solve this MDP in a computationally efficient manner. Simulation results demonstrate that the presented channel estimator significantly reduces the MSE of the channel estimate and therefore improves the block error rate of the system, compared to the conventional LMMSE method.

研究の動機と目的

• 限られたパイロットオーバーヘッド下でのMIMOシステムにおける平均二乗誤差（MSE）の低減。
• 信頼性の低い検出されたシンボルに起因する従来のデータ支援チャネル推定における誤り伝搬の問題の解消。
• 反復処理を伴わず、計算量が少ない受信機におけるチャネル状態情報の精度向上のための非反復的で効率的な手法の開発。
• 固定またはヒューリスティックなルールではなく、学習ベースの選択戦略を用いて検出されたシンボルを仮想パイロット信号として活用すること。

提案手法

• チャネル推定に用いる検出されたシンボルの選択を、MSEの最小化を目的としたマルコフ意思決定過程（MDP）としてモデル化する。
• MDPを解くための強化学習フレームワークを構築し、行動選択（使用またはスキップ）の閉形式最適方策を導出する。
• 方策は、ブロック終了時に特定の検出されたシンボルベクトルを使用するかしないかの期待MSE差に基づく。
• 誤差共分散行列は、行列逆行列補題と統計的チャネルモデルを用いて計算され、既知のパイロット信号と検出されたシンボルの両方を組み込む。
• 異なる行動における期待誤差共分散行列のトレースを比較することで、リアルタイムの意思決定が可能になる。
• 反復的精錬を回避し、1回のパスで最良のシンボル選択を学習することで、複雑さと遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 限られたパイロットオーバーヘッド下で、従来のLMMSE推定と比較して、強化学習に基づく手法がチャネル推定精度を向上させられるか。
• RQ2 パイロットオーバーヘッドを増加させず、誤り伝搬を引き起こさずに、検出されたシンボルを効果的に選択的に使用する方法は何か。
• RQ3 非反復的かつMSEを最小化する目的で、検出されたシンボルベクトルを選択する最適方策は何か。
• RQ4 データ支援MIMOチャネル推定におけるシンボル選択のMDP定式化に対して、閉形式解を導出できるか。
• RQ5 反復的データ支援推定器と比較して、提案手法はブロック誤り率および計算量の点でどのように優れているか。

主な発見

• 提案手法は、従来のLMMSE推定器と比較して、チャネル推定の平均二乗誤差（MSE）を顕著に低減する。
• パイロットオーバーヘッドを増加させずに、より低いチャネル推定誤差のおかげでシステムのブロック誤り率が向上する。
• 強化学習に基づく選択方策は、閉形式解を有するため、低複雑度の実装が可能で、近似的最適性能を達成する。
• 非反復的データ支援推定器がすべての検出されたシンボルを使用するのとは異なり、信頼性の低いシンボルを学習で回避することで誤り伝搬を緩和する。
• シミュレーション結果により、提案推定器がMSEおよびブロック誤り率の両面で既存手法を上回ることが確認され、特に低SNR領域で顕著な性能向上が得られる。
• 反復処理を必要としないため、受信機における遅延と計算負荷が低減される。