[논문 리뷰] Meta-Reinforcement Learning for Reliable Communication in THz/VLC Wireless VR Networks

Yining Wang, Mingzhe Chen외 5명|arXiv (Cornell University)|2021. 01. 29.

Optical Wireless Communication Technologies인용 수 6

한 줄 요약

이 논문은 메타강화학습 프레임워크를 제안하며, 메타정책기울기(MPG) 및 이중기반 MPG(D-MPG) 알고리즘을 사용하여 Terahertz(VLC) 기반 실내 VR 네트워크에서 VAP 선택 및 사용자 연결을 최적화한다. 이로 인해 TRPO 대비 최대 26.8% 높은 성공 사용자 스루풋과 87.5% 빠른 수렴 속도를 달성하며, 동적인 사용자 이동성과 링크 차단 상황에 신속하게 적응한다.

ABSTRACT

In this paper, the problem of enhancing the quality of virtual reality (VR) services is studied for an indoor terahertz (THz)/visible light communication (VLC) wireless network. In the studied model, small base stations (SBSs) transmit high-quality VR images to VR users over THz bands and light-emitting diodes (LEDs) provide accurate indoor positioning services for them using VLC. Here, VR users move in real time and their movement patterns change over time according to their applications, where both THz and VLC links can be blocked by the bodies of VR users. To control the energy consumption of the studied THz/VLC wireless VR network, VLC access points (VAPs) must be selectively turned on so as to ensure accurate and extensive positioning for VR users. Based on the user positions, each SBS must generate corresponding VR images and establish THz links without body blockage to transmit the VR content. The problem is formulated as an optimization problem whose goal is to maximize the reliability of the VR network by selecting the appropriate VAPs to be turned on and controlling the user association with SBSs. To solve this problem, a policy gradient-based reinforcement learning (RL) algorithm that adopts a meta-learning approach is proposed. The proposed meta policy gradient (MPG) algorithm enables the trained policy to quickly adapt to new user movement patterns. In order to solve the problem of maximizing the average number of successfully served users for VR scenarios with a large number of users, a dual method based MPG algorithm (D-MPG) with a low complexity is proposed. Simulation results demonstrate that, compared to the trust region policy optimization algorithm (TRPO), the proposed MPG and D-MPG algorithms yield up to 26.8% and 21.9% improvement in the reliability as well as 81.2% and 87.5% gains in the convergence speed, respectively.

연구 동기 및 목표

• 동적인 사용자 이동성과 빈번한 링크 차단 상황이 존재하는 실내 THz/VLC 무선 VR 네트워크에서 높은 신뢰성을 유지를 위한 과제를 해결한다.
• 성공적으로 서비스되는 VR 사용자 수를 최대화하기 위해 가시광선 통신(VLC) 접근점(VAPs)의 선택과 테라헤르츠(THz) 소형 기지국(SBSs)에 대한 사용자 연결을 최적화한다.
• 새로운 사용자 이동 패턴에 대해 다시 처음부터 훈련하지 않고도 제어 정책을 신속하게 적응시킬 수 있도록 한다.
• 많은 사용자가 포함된 대규모 VR 시나리오에서 계산 복잡도를 감소시키면서도 높은 신뢰성을 유지한다.
• D-MPG 알고리즘에서 이중 방법 기반 최적화를 통해 성능 향상과 처리 시간 간의 균형을 이룬다.

제안 방법

• 성공적으로 서비스되는 사용자 수의 평균을 최대화하기 위해, 공동 VAP 선택 및 사용자 연결 문제를 마르코프 결정 과정(MDP)으로 수식화한다.
• 다양한 사용자 이동 작업 간 공유 정책 초기화를 학습하는 메타정책기울기(MPG) 알고리즘을 설계하여 새로운 패턴에 대한 신속한 적응을 가능하게 한다.
• 메타학습을 정책기울기 강화학습과 융합하여 정책이 다양한 사용자 이동 역학에 일반화될 수 있도록 한다.
• 사용자 연결의 이중 문제를 해결하기 위해 헌저리그 알고리즘을 사용하는 이중 방법 기반 MPG(D-MPG) 알고리즘을 제안하여 계산 복잡도를 감소시킨다.
• 비교를 위해 TRPO 기반 알고리즘을 사용하며, MPG 및 D-MPG 정책은 다양한 사용자 이동 작업에서 훈련되어 일반화 능력을 향상시킨다.
• 다양한 시뮬레이션된 사용자 이동 시나리오에서의 성능에 기반해 정책을 업데이트하는 태스크 샘플링과 메타최적화의 조합을 사용해 정책을 훈련한다.

실험 결과

연구 질문

• RQ1 메타강화학습은 최소한의 재훈련으로 동적인 THz/VLC VR 네트워크에서 새로운 사용자 이동 패턴에 효과적으로 적응할 수 있는가?
• RQ2 제안된 MPG 알고리즘은 동적인 VR 환경에서 기존의 TRPO 대비 수렴 속도와 신뢰성 측면에서 어떻게 향상되는가?
• RQ3 대규모 VR 네트워크에서 많은 사용자가 존재할 경우, D-MPG 알고리즘은 높은 성능를 유지하면서 계산 복잡도를 얼마나 줄일 수 있는가?
• RQ4 VAP 선택과 사용자 연결의 공동 최적화는 THz/VLC 기반 VR 서비스의 신뢰성과 스루풋에 어떤 영향을 미치는가?
• RQ5 고밀도 VR 시나리오에서 D-MPG 알고리즘을 사용할 경우, 처리 시간과 신뢰성 향상 간의 상호 상충 관계는 어떠한가?

주요 결과

• 제안된 MPG 알고리즘은 TRPO 기준선 대비 최대 26.8% 높은 성공적으로 서비스된 VR 사용자 수의 평균을 달성한다.
• D-MPG 알고리즘은 TRPO 대비 평균 성공 서비스 사용자 수에서 21.9% 향상을 달성한다.
• MPG 알고리즘은 TRPO 대비 수렴 시간을 81.2% 감소시켜 새로운 작업에 수렴하는 데 단 30회 반복만으로도 충분하다.
• D-MPG 알고리즘은 TRPO 대비 수렴 시간을 87.5% 감소시켜 새로운 작업에 수렴하는 데 단 20회 반복만으로도 충분하다.
• MPG 및 D-MPG 알고리즘은 메타학습을 통해 도출된 광범위하게 적용 가능한 정책 파rameter 덕분에 각각 최대 13.2% 및 10.3%의 신뢰성 향상을 달성한다.
• 시각화 결과는 제안된 알고리즘이 사용자 이동성과 차단 상황에도 불구하고 효과적으로 VAP를 선택하고 사용자를 SBSs에 연결하여 링크 신뢰성을 유지함을 확인한다.