[논문 리뷰] Reinforcement learning techniques for Outer Loop Link Adaptation in 4G/5G systems

Saishankar Katri Pulliyakode, Sheetal Kalyani|arXiv (Cornell University)|2017. 08. 03.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 10

한 줄 요약

이 논문은 4G/5G 시스템을 대상으로 이중 탐색과 큰 편차 한계를 활용한 다수의 손잡이 문제(Multi-Armed Bandit, MAB) 프레임워크를 사용하는 강화학습 기반 외부 루프 링크 적응(OLLA) 기법을 제안한다. 이는 목표 블록 오류율(BLER)을 고속도로 달성한다. 이 방법은 90% 이상의 사용자가 목표 BLER를 충족하거나 초과하도록 보장하며, 클러스터링과 같은 히우리스틱 기법보다 BLER 제어 및 스펙트럼 효율성 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

Wireless systems perform rate adaptation to transmit at highest possible instantaneous rates. Rate adaptation has been increasingly granular over generations of wireless systems. The base-station uses SINR and packet decode feedback called acknowledgement/no acknowledgement (ACK/NACK) to perform rate adaptation. SINR is used for rate anchoring called inner look adaptation and ACK/NACK is used for fine offset adjustments called Outer Loop Link Adaptation (OLLA). We cast the OLLA as a reinforcement learning problem of the class of Multi-Armed Bandits (MAB) where the different offset values are the arms of the bandit. In OLLA, as the offset values increase, the probability of packet error also increase, and every user equipment (UE) has a desired Block Error Rate (BLER) to meet certain Quality of Service (QoS) requirements. For this MAB we propose a binary search based algorithm which achieves a Probably Approximately Correct (PAC) solution making use of bounds from large deviation theory and confidence bounds. In addition to this we also discuss how a Thompson sampling or UCB based method will not help us meet the target objectives. Finally, simulation results are provided on an LTE system simulator and thereby prove the efficacy of our proposed algorithm.

연구 동기 및 목표

• 정확하지 않은 CQI 피드백, SINR 추정 오차, UE 고유의 편향으로 인해 4G/5G 시스템에서 정밀한 블록 오류율(BLERR) 제어를 달성하는 데 도전하는 문제를 해결하기 위해.
• 특정 UE 알고리즘에 의존하지 않고 기지국 측에서 동적으로 전송 속도 오프셋을 조정하는 OLLA 알고리즘 설계를 위해.
• 수학적으로 엄밀하고 확장 가능하며 적응 가능한 OLLA 솔루션을 제공하여 각 사용자에게 목표 BLER를 보장하면서 스펙트럼 효율성을 극대화하기 위해.
• 히우리스틱 OLLA 기법(예: 클러스터링)의 한계를 극복하기 위해, 이는 이론적 보장을 갖추지 못하고 종종 전송속도를 감소시키기 때문이다.
• 강화학습, 특히 신뢰 구간을 갖춘 MAB가 실시간 무선 링크 적응에 효과적으로 적용될 수 있으며, 낮은 표본 복잡도로도 가능함을 보여주기 위해.

제안 방법

• 각 가능한 오프셋 값이 하나의 손잡이로 간주되며, ACK/NACK 피드백이 확률적 보상으로 사용되는 다수의 손잡이(MAB) 문제로 OLLA를 수식화한다.
• 큰 편차 이론을 활용하여 날카운 신뢰 구간을 도출하는 이중 탐색 기반 MAB 알고리즘을 제안하여 필요한 손잡이 선택 수를 최소화한다.
• Hoeffding의 부등식에서 유도된 신뢰 구간을 사용하여 비최적의 손잡이를 효율적으로 제거함으로써 표본 복잡도를 감소시킨다.
• 확률적으로 근사적으로 정확한(PAC) 학습 프레임워크를 도입하여 높은 확률로 최적의 오프셋으로 수렴하도록 보장한다.
• 제안된 방법을 Thompson Sampling 및 UCB와 대조하여, 특정 BLER 목표 제약 조건 하에서 수렴 보장이 부족하므로 이들은 부적합하다고 주장한다.
• LTE 시스템 시뮬레이터를 활용한 체계적인 시뮬레이션 설정을 통해 여러 목표 BLER(7.5% 및 10%)에서 성능을 평가하고 기준 기법과 비교한다.

실험 결과

연구 질문

• RQ1 강화학습 기반 MAB 프레임워크가 4G/5G 시스템의 외부 루프 링크 적응에 효과적으로 적용되어 정밀한 BLER 제어를 달성할 수 있는가?
• RQ2 큰 편차 이론과 신뢰 구간을 활용하면 OLLA에서 요구되는 피드백 표본 수를 어떻게 줄일 수 있는가?
• RQ3 Thompson Sampling 및 UCB와 같은 표준 MAB 접근 방식이 엄격한 BLER 제약 조건 하에서 OLLA에 부적합한 이유는 무엇인가?
• RQ4 제안된 MAB 기반 OLLA가 BLER 정확도 및 스펙트럼 효율성 측면에서 히우리스틱 기법(예: 클러스터링)보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 방법은 목표 BLER를 고려한 높은 비율의 사용자에게 보장할 수 있으며, 동시에 OLLA 없음 또는 히우리스틱 기법 대비 전송속도를 향상시킬 수 있는가?

주요 결과

• 제안된 MAB 기반 OLLA는 7.5%의 목표 BLER를 달성하여 80%의 사용자가 BLER ≤ 7.5%를 확보함으로써 오류율에 대한 강력한 제어를 보였다.
• 7.5% 목표에 대해 사용자 평균 BLER는 6.66%였으며, 목표를 정확하고 일관되게 달성함을 나타내었다.
• 전송속도 성능은 뛰어났다: MAB 기반 기법은 30%의 사용자가 2 Mbps 이상을 달성한 반면, 클러스터링 기법은 18%에 그쳤으며, 이는 OLLA 없음 기준보다도 열등한 성능를 보였다.
• MAB 기반 기법의 평균 오프셋 값은 -2.39였으며, 신뢰성과 속도 사이의 균형 잡힌 조정을 보였고, 반면 클러스터링 기법은 너무 보수적인 오프셋 < -4를 사용했다.
• MAB 기반 기법은 평균 전송속도 1.55 Mbps를 달성하여 클러스터링 기법(1.25 Mbps)과 OLLA 없음 기준(1.43 Mbps)을 모두 초월했다.
• 큰 편차 한계와 신뢰 구간을 통해 표본 복잡도를 크게 감소시켜 최적의 오프셋으로의 신속하고 신뢰할 수 있는 수렴을 가능케 하였다.