[논문 리뷰] Echo State Learning for Wireless Virtual Reality Resource Allocation in UAV-enabled LTE-U Networks

Mingzhe Chen, Walid Saad외 1명|arXiv (Cornell University)|2017. 08. 02.

UAV Applications and Optimization참고 문헌 6인용 수 4

한 줄 요약

이 논문은 UAV 기반 LTE-U 네트워크에서 무선 가상현실(VR)을 위한 라이선스 및 비라이선스 스펙트럼 할당, 이미지 품질, 포맷을 공동 최적화하는 에코 상태 네트워크(ESN) 기반 학습 알고리즘을 제안한다. 이 방법은 UAV가 지속적인 사용자 동적 변화에 유연하게 대응할 수 있게 하여, Q-learning 대비 최대 27.1% 높은 총 VR 사용자 경험 품질(QoE)을 달성한다.

ABSTRACT

In this paper, the problem of resource management is studied for a network of wireless virtual reality (VR) users communicating using an unmanned aerial vehicle (UAV)-enabled LTE-U network. In the studied model, the UAVs act as VR control centers that collect tracking information from the VR users over the wireless uplink and, then, send the constructed VR images to the VR users over an LTE-U downlink. Therefore, resource allocation in such a UAV-enabled LTE-U network must jointly consider the uplink and downlink links over both licensed and unlicensed bands. In such a VR setting, the UAVs can dynamically adjust the image quality and format of each VR image to change the data size of each VR image, then meet the delay requirement. Therefore, resource allocation must also take into account the image quality and format. This VR-centric resource allocation problem is formulated as a noncooperative game that enables a joint allocation of licensed and unlicensed spectrum bands, as well as a dynamic adaptation of VR image quality and format. To solve this game, a learning algorithm based on the machine learning tools of echo state networks (ESNs) with leaky integrator neurons is proposed. Unlike conventional ESN based learning algorithms that are suitable for discrete-time systems, the proposed algorithm can dynamically adjust the update speed of the ESN's state and, hence, it can enable the UAVs to learn the continuous dynamics of their associated VR users. Simulation results show that the proposed algorithm achieves up to 14% and 27.1% gains in terms of total VR QoE for all users compared to Q-learning using LTE-U and Q-learning using LTE.

연구 동기 및 목표

• 동적 사용자 이동성과 높은 데이터 요구량을 가진 UAV 기반 LTE-U 네트워크에서 무선 VR에 대한 엄격한 지연 요구사항을 충족시키는 데 도전 과제를 해결한다.
• VR 응용 프로그램을 위한 업링크 및 다운링크에서 라이선스 및 비라이선스 대역 간 자원 할당을 공동 최적화한다.
• 데이터 크기를 줄이고 지연 제약 조건을 충족시키기 위해 VR 이미지 품질 및 포맷의 동적 적응을 통합한다.
• 모든 VR 사용자의 총 사용자 경험 품질(QoE)을 최대화하면서 종단 간 지연 준수를 보장한다.
• UAV가 VR 사용자 행동의 지속적인 동적 변화와 환경 변화에 적응할 수 있도록 기반 학습 솔루션을 개발한다.

제안 방법

• UAV를 플레이어로 삼아 사용자 QoE를 최대화하는 비협력 게임으로 자원 할당 문제를 수립한다.
• VR 사용자 행동의 연속 시간 역학을 모델링하고 학습하기 위해 누설 적분기 뉴런을 사용하는 새로운 ESN 기반 학습 알고리즘을 제안한다.
• 변경되는 사용자 조건에 대응해 ESN의 상태 갱신 속도를 동적으로 조정하여 학습 효율성과 수렴 속도를 향상시킨다.
• 역사적 데이터를 기반으로 미래의 유틸리티 값을 추정하여 사전 자원 할당 결정을 가능하게 한다.
• 라이선스 및 비라이선스 대역 간 스펙트럼 할당을 이미지 품질 및 포맷 적응과 함께 통합 제어 변수로 통합한다.
• 제안된 ESN 학습 메커니즘을 사용해 게임의 내쉬 균형을 해결함으로써 안정적이고 최적의 자원 할당을 보장한다.

실험 결과

연구 질문

• RQ1 LTE-U 네트워크에서 UAV는 어떻게 라이선스 및 비라이선스 스펙트럼을 공동 할당하여 VR 응용 프로그램의 엄격한 지연 요구사항을 충족시킬 수 있는가?
• RQ2 고속 이동 환경에서 VR 이미지 품질 및 포맷의 동적 적응은 데이터 크기를 얼마나 줄이고 QoE를 향상시킬 수 있는가?
• RQ3 누설 적분기 뉴런을 갖춘 ESN 기반 학습 알고리즘은 VR 사용자 행동의 연속적 동적 변화를 효과적으로 모델링하고 적응할 수 있는가?
• RQ4 기존의 Q-learning 및 전통적인 ESN과 비교할 때 제안된 ESN 기반 방법은 수렴 속도와 QoE 성능에서 어떤가?
• RQ5 UAV 밀도의 변화는 제안된 프레임워크에서 지연 요구사항을 충족하는 사용자 비율과 총 QoE에 어떤 영향을 미치는가?

주요 결과

• 제안된 ESN 기반 알고리즘은 LTE-U 네트워크에서 Q-learning 대비 최대 14% 높은 총 VR QoE를 달성한다.
• 제안된 알고리즘은 기존 LTE 네트워크에서 Q-learning 대비 최대 27.1% 높은 총 VR QoE를 달성한다.
• 제안된 알고리즘은 기존 ESN 알고리즘 대비 11.3% 더 빠르게 수렴하고 Q-learning 대비 17.4% 더 빠르게 수렴한다(필요한 반복 수 기준).
• UAV 밀도가 증가할수록 지연 요구사항을 충족하는 사용자 비율이 증가하며, 제안된 알고리즘은 기준 방법 대비 최대 40.1% 향상된 성능을 기록한다.
• 누설 적분기 뉴런의 사용은 동적 학습 속도 조정을 가능하게 하여 ESN이 실시간 환경에서 유틸리티 변화를 더 잘 추적하고 예측할 수 있도록 크게 향상시킨다.
• 지연 요구사항을 충족한 후에도 제안된 알고리즘은 추가적인 지연 감소 없이 QoE를 안정화시키며, 이는 자원 활용의 효율성을 보여준다.