[論文レビュー] Bandit Inspired Beam Searching Scheme for mmWave High-Speed Train Communications

Jun-Bo Wang, Ming Cheng+5 more|arXiv (Cornell University)|Oct 14, 2018

Millimeter-Wave Propagation and Modeling被引用数 9

ひとこと要約

本稿では、mmWave高速列車（HST）通信におけるチャネル推定のオーバーヘッドを最小限に抑えるために、マルチアームバンディット（MAB）にインspiredされたビームサーチ方式を提案する。歴史的伝搬知識と強化学習を活用することで、わずか2回のHST走行で理論上のスペクトル効率に近い性能を達成しつつ、パス測定回数を削減し、従来手法に比べ顕著に優れた性能を発揮する。訓練データの必要量も最小限に抑えられる。

ABSTRACT

High-speed trains (HSTs) are being widely deployed around the world. To meet the high-rate data transmission requirements on HSTs, millimeter wave (mmWave) HST communications have drawn increasingly attentions. To realize sufficient link margin, mmWave HST systems employ directional beamforming with large antenna arrays, which results in that the channel estimation is rather time-consuming. In HST scenarios, channel conditions vary quickly and channel estimations should be performed frequently. Since the period of each transmission time interval (TTI) is too short to allocate enough time for accurate channel estimation, the key challenge is how to design an efficient beam searching scheme to leave more time for data transmission. Motivated by the successful applications of machine learning, this paper tries to exploit the similarities between current and historical wireless propagation environments. Using the knowledge of reinforcement learning, the beam searching problem of mmWave HST communications is formulated as a multi-armed bandit (MAB) problem and a bandit inspired beam searching scheme is proposed to reduce the number of measurements as many as possible. Unlike the popular deep learning methods, the proposed scheme does not need to collect and store a massive amount of training data in advance, which can save a huge amount of resources such as storage space, computing time, and power energy. Moreover, the performance of the proposed scheme is analyzed in terms of regret. The regret analysis indicates that the proposed schemes can approach the theoretical limit very quickly, which is further verified by simulation results.

研究の動機と目的

• 高速なチャネル変動のため、時間的に制約のある頻繁なチャネル推定が生じるmmWave HSTシステムにおける課題に対処すること。
• 大規模なトレーニングデータセットに依存せずに、正確なチャネル推定に必要なビーム測定回数を削減すること。
• 短いTTI期間におけるビームサーチに要する時間を最小限に抑えることで、効率的なデータ伝送を実現すること。
• 歴史的無線伝搬パターンを活用して、最適なビーム設定の学習を加速すること。
• 高移動度のmmWave環境に適した低複雑性かつデータ効率の高いビームサーチアルゴリズムを設計すること。

提案手法

• ビームサーチ問題を、各ビーム方向を「アーム」とみなし、報酬がスループット効率に相当するマルチアームバンディット（MAB）問題として定式化する。
• バンディットにインspiredされた学習アルゴリズムが、蓄積された報酬に基づいて動的にビームを選択し、探索と活用のバランスをとる。
• アルゴリズムは報酬メカニズムを用いて、HST走行の度に利用可能な伝搬パスの知識を収集・更新する。
• 性能損失の理論的バウンディングを実施し、時間とともに対数的に増加し、ビーム数に線形に依存することを示す。
• 事前に収集されたトレーニングデータを必要としないため、ディープラーニングを避けることで、ストレージ、計算、エネルギーコストを削減する。
• ビーム固有のチャネルゲインを表現し、ビーム選択を最適化するために、仮想チャネル行列（VCM）モデルを用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 強化学習に基づくビームサーチ方式は、mmWave HSTチャネル推定に必要な測定回数を削減できるか？
• RQ2 バンディットにインspiredされたアルゴリズムは、高移動度のHST環境で最適なビーム設定をどの程度の速さで学習できるか？
• RQ3 1タイムスロットあたりの測定回数と、最適なスペクトル効率への収束速度のトレードオフは何か？
• RQ4 歴史的伝搬知識を活用することで、HSTシナリオにおける繰り返しのチャネル推定の必要性はどの程度低減できるか？
• RQ5 本手法は、従来のビームサーチ手法と比較して、スペクトル効率および学習効率の面でどの程度優れているか？

主な発見

• 提案手法は、わずか2回のHST走行で理論上のスペクトル効率の限界に近い性能を達成し、伝搬環境の迅速な学習を実証した。
• HSTが2回目を走行する際、レグレット（性能損失）の増加が極めて遅く、ほぼすべての最適ビームが特定され、活用されていることを示している。
• 1タイムスロットあたりM=4回の測定を実施した場合、理論限界との性能ギャップが依然として顕著に現れており、M=4では十分な探索ができないことが示された。
• 1タイムスロットあたりの測定回数を増やすことで収束が加速し、初回走行中の理論限界へのギャップが縮小した。
• アルゴリズムのレグレットは時間に対して対数的に増加し、ビーム数に対して線形に依存するという結果が得られ、理論的性能バウンディングが確認された。
• 特に初回走行以降において、修正された逐次ビームサーチアルゴリズムを著しく上回る性能を示した。これは、歴史的データの有効な活用によるものである。