[논문 리뷰] A Simple Reinforcement Learning Mechanism for Resource Allocation in LTE-A Networks with Markov Decision Process and Q-Learning

Einar C. Santos|arXiv (Cornell University)|2017. 09. 27.

Advanced Wireless Network Optimization참고 문헌 6인용 수 14

한 줄 요약

이 논문은 LTE-A 네트워크에서 자원 할당을 위한 Q-학습 기반 강화학습 기법을 제안하며, 문제를 마르코프 결정 과정(MDP)으로 모델링하여 실시간 비디오, VoIP, 웹 등 각 트래픽 유형에 따라 QoS 요구사항에 맞게 자원 블록(RB)을 동적으로 할당한다. 이 방법은 실시간 비디오 트래픽에서 처리량, 공정성, 지연 면에서 뛰어난 성능을 보이며, 최대 100명의 사용자에서 고부하 조건에서도 낮은 패킷 손실과 제트를 유지한다. 기존의 비례 공정성(Proportional Fair), 라운드 로빈(Round Robin), 프레임 레벨 스케줄링(Frame-Level Scheduling) 알고리즘을 능가한다.

ABSTRACT

Resource allocation is still a difficult issue to deal with in wireless networks. The unstable channel condition and traffic demand for Quality of Service (QoS) raise some barriers that interfere with the process. It is significant that an optimal policy takes into account some resources available to each traffic class while considering the spectral efficiency and other related channel issues. Reinforcement learning is a dynamic and effective method to support the accomplishment of resource allocation properly maintaining QoS levels for applications. The technique can track the system state as feedback to enhance the performance of a given task. Herein, it is proposed a simple reinforcement learning mechanism introduced in LTE-A networks and aimed to choose and limit the number of resources allocated for each traffic class, regarding the QoS Class Identifier (QCI), at each Transmission Time Interval (TTI) along the scheduling procedure. The proposed mechanism implements a Markov Decision Process (MDP) solved by the Q-Learning algorithm to find an optimal action-state decision policy. The results obtained from simulation exhibit good performance, especially for the real-time Video application.

연구 동기 및 목표

• 변동하는 채널 조건과 다양한 QoS 요구사항 하에서 LTE-A 네트워크의 동적 자원 할당 문제를 해결하기 위해.
• 트래픽 유형과 QoS 메트릭에 기반해 실시간으로 자원 할당을 적응하는 단순한 모델 프리(model-free) 강화학습 기법을 개발하기 위해.
• 영상 스트리밍과 같은 실시간 애플리케이션의 QoS를 향상시키면서도 음성 및 베스트 에프터 데이터에 대한 공정성과 성능을 유지하기 위해.
• 처리량, 지연, 제트, 공정성, 패킷 손실 측면에서 표준 스케줄링 알고리즘(PF, RR, FLS)과의 성능 평가를 위해.

제안 방법

• 자원 할당 문제를 유한 시간 범위의 마르코프 결정 과정(MDP)으로 모델링하며, 상태는 시스템 상태를 나타내고, 행동은 각 트래픽 유형에 할당된 RB 수를 나타낸다.
• Q-학습 알고리즘을 사용해 상태에서 행동으로 매핑하는 최적 정책을 학습하며, QoS 피드백 기반으로 장기 누적 보상을 최대화한다.
• 각 트래픽 유형에 대해 처리량, 지연, 제트, 패킷 손실률의 조합을 사용해 보상을 계산하며, QoS가 우수할수록 보상이 높아진다.
• 탐색과 이용의 균형을 위해 학습률(α = 0.2), 할인 요소(γ = 0.75), ε-그리디 탐색(ε = 0.1)을 사용한다.
• 시스템 상태는 매 전송 시간 간격(TTI)마다 업데이트되며, 현재 Q-테이블 기반으로 행동을 선택해 사용자에게 RB를 할당한다.
• 다양한 사용자 수(UEs), 트래픽 유형(비디오, VoIP, 웹), 다양한 부하 조건을 고려한 시스템 수준 시뮬레이션을 통해 기법을 평가한다.

실험 결과

연구 질문

• RQ1 모델 프리 강화학습 접근법이 동적인 QoS 제약 조건 하에서 LTE-A 네트워크의 자원 할당을 효과적으로 최적화할 수 있는가?
• RQ2 제안된 MDP-Q-학습 기법은 기존 스케줄링 알고리즘(PF, RR, FLS)과 비교해 실시간 트래픽의 QoS 메트릭에서 어떤 성능을 보이는가?
• RQ3 고밀도 사용자 부하 조건에서 이 기법은 비디오 및 VoIP 애플리케이션의 공정성과 낮은 지연/제트를 얼마나 잘 유지하는가?
• RQ4 실시간 서비스 품질을 훼손하지 않고도 이 기법은 베스트 에프터 웹 트래픽에 대해 충분한 성능을 유지할 수 있는가?

주요 결과

• MDP-QL 기법은 40명의 사용자에서 60% 이상의 사용자에게 평균 비디오 처리량을 400 Kbps 이상 유지하며, PF, RR, FLS를 능가한다.
• 최대 50명의 사용자까지 MDP-QL은 요구 수준의 비디오 처리량을 유지하며, 다른 알고리즘보다 패킷 손실률이 낮다.
• MDP-QL의 공정성 지수는 60명의 사용자까지 0.9를 초과하며, 그 이상부터도 다른 알고리즘보다 높게 유지되어 균형 잡힌 자원 공유를 보여준다.
• MDP-QL은 모든 시나리오에서 가장 낮은 평균 제트를 기록하며, 다른 알고리즘보다 일관되게 낮은 값을 유지한다.
• 50명 이상의 사용자에서 평균 지연이 증가하지만, 여전히 비디오 애플리케이션의 허용 범위 내에 유지된다.
• MDP-QL은 FLS보다 웹 트래픽에 대해 더 뛰어난 성능을 보이며, 저부하 조건에서도 수요를 충족하지 못하는 FLS와는 대비되어 기술의 적응 능력을 입증한다.