[논문 리뷰] Bandit Inspired Beam Searching Scheme for mmWave High-Speed Train Communications

Jun-Bo Wang, Ming Cheng외 5명|arXiv (Cornell University)|2018. 10. 14.

Millimeter-Wave Propagation and Modeling인용 수 9

한 줄 요약

이 논문은 mmWave 고속열차(HST) 통신에서 채널 추정 오버헤드를 최소화하기 위해 다중 손잡이 띠드(MAB) 기반의 빔 탐색 기법을 제안한다. 역학적 전파 지식과 강화학습을 활용함으로써, 단 두 번의 HST 이동 내에 이론적 스펙트럼 효율에 근접하는 성능를 달성하면서도 경로 측정 수를 줄였으며, 대규모 학습 데이터가 필요로 하지 않는 점에서 기존 방법에 비해 뚜렷이 뛰어나다.

ABSTRACT

High-speed trains (HSTs) are being widely deployed around the world. To meet the high-rate data transmission requirements on HSTs, millimeter wave (mmWave) HST communications have drawn increasingly attentions. To realize sufficient link margin, mmWave HST systems employ directional beamforming with large antenna arrays, which results in that the channel estimation is rather time-consuming. In HST scenarios, channel conditions vary quickly and channel estimations should be performed frequently. Since the period of each transmission time interval (TTI) is too short to allocate enough time for accurate channel estimation, the key challenge is how to design an efficient beam searching scheme to leave more time for data transmission. Motivated by the successful applications of machine learning, this paper tries to exploit the similarities between current and historical wireless propagation environments. Using the knowledge of reinforcement learning, the beam searching problem of mmWave HST communications is formulated as a multi-armed bandit (MAB) problem and a bandit inspired beam searching scheme is proposed to reduce the number of measurements as many as possible. Unlike the popular deep learning methods, the proposed scheme does not need to collect and store a massive amount of training data in advance, which can save a huge amount of resources such as storage space, computing time, and power energy. Moreover, the performance of the proposed scheme is analyzed in terms of regret. The regret analysis indicates that the proposed schemes can approach the theoretical limit very quickly, which is further verified by simulation results.

연구 동기 및 목표

• 빠른 채널 변화로 인해 시간 제약이 엄격한 mmWave HST 시스템에서 빈번한 채널 추정 문제를 해결하기 위해.
• 대규모 스케일의 학습 데이터셋에 의존하지 않고도 정확한 채널 추정을 위해 필요한 빔 측정 수를 줄이기 위해.
• 짧은 TTI(전송 시간 간격) 동안 빔 탐색에 소요되는 시간을 최소화하여 효율적인 데이터 전송을 가능하게 하기 위해.
• 역사적 무선 전파 패턴을 활용하여 최적의 빔 구성 설정을 빠르게 학습할 수 있도록 하기 위해.
• 고속 이동 환경에서 사용 가능한 mmWave 환경에 적합한 저복잡도, 데이터 효율적인 빔 탐색 알고리즘을 설계하기 위해.

제안 방법

• 각 빔 방향을 '팔'(arm)로 간주하고 스펙트럼 효율을 보상으로 삼는 다중 손잡이 띠드(MAB) 문제로 빔 탐색 문제를 수식화한다.
• 띠드 기반 학습 알고리즘이 누적 보상 기반으로 동적으로 빔을 선택함으로써 탐색과 이용의 균형을 이룬다.
• 알고리즘은 HST 이동 동안 가용한 전파 경로에 대한 지식을 수집하고 업데이트하기 위해 보상 메커니즘을 사용한다.
• 성능 손실의 이론적 경계를 도출하기 위해 유감 분석(regret analysis)을 수행하였으며, 시간에 따라 로그 성장하고 빔 수에 선형적으로 의존하는 것으로 나타났다.
• 사전 수집된 학습 데이터가 필요로 하지 않기 때문에 딥러닝을 피함으로써 저장, 계산 및 에너지 비용을 감소시킨다.
• 빔 전용 채널 이득을 표현하고 빔 선택을 최적화하기 위해 가상 채널 행렬(VCM) 모델을 사용하여 방법을 구현한다.

실험 결과

연구 질문

• RQ1 강화학습 기반의 빔 탐색 기법은 mmWave HST 채널 추정을 위해 필요한 측정 수를 줄일 수 있는가?
• RQ2 띠드 기반 알고리즘이 고속 이동 HST 환경에서 최적의 빔 구성 설정을 얼마나 빨리 학습할 수 있는가?
• RQ3 각 타임슬롯당 측정 수와 최적의 스펙트럼 효율에 수렴하는 데 걸리는 시간 사이의 상호 상충 관계는 어떠한가?
• RQ4 역사적 전파 패턴 지식을 얼마나 활용하면 HST 시나리오에서 반복적인 채널 추정이 줄어들 수 있는가?
• RQ5 제안된 기법은 전통적인 빔 탐색 방법에 비해 스펙트럼 효율성과 학습 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 기법은 단 두 번의 HST 이동 내에 이론적 스펙트럼 효율 한계에 근접한 성능를 달성하여 전파 환경을 신속하게 학습하는 데 성공했다.
• HST가 두 번째로 이동할 때, 유감(regret)의 증가율이 매우 낮아지며, 거의 모든 최적의 빔이 식별되고 이용된다는 것을 나타낸다.
• 각 타임슬롯당 M=4회의 측정을 수행할 경우, 여전히 이론적 한계에 도달하지 못하는 성능 격차가 존재하여, M=4는 전체 탐색을 위해 충분하지 않음을 시사한다.
• 타임슬롯당 측정 수를 늘릴수록 수렴 속도가 빨라지며, 첫 번째 이동 동안 이론적 한계에 가까운 성능를 달성하는 데 기여한다.
• 알고리즘의 유감은 시간에 따라 로그 성장하고 빔 수에 선형적으로 의존함으로써 이론적 성능 경계가 확인되었다.
• 특히 첫 번째 이동 이후, 역사적 데이터를 효과적으로 활용함으로써 제안된 기법은 수정된 순차적 빔 탐색 알고리즘을 크게 능가하는 성능를 보였다.