[논문 리뷰] Learning-based Prediction and Uplink Retransmission for Wireless Virtual Reality (VR) Network

Xiaonan Liu, Xinyu Li외 1명|arXiv (Cornell University)|2020. 12. 16.

Advanced MIMO Systems Optimization참고 문헌 28인용 수 4

한 줄 요약

이 논문은 무선 VR 네트워크를 위한 온라인 학습 기반의 시점 예측 프레임워크를 제안하며, 실시간 사용자 행동에 적응하기 위해 GRU 모델을 사용하여 예측 정확도를 향상시키고, 능동적인 업링크 재전송 기법을 도입한다. 시뮬레이션 결과, 온라인 GRU에 능동적 재전송을 적용한 경우 예측 오차가 5% 미만으로 나타나, 오프라인 모델 및 재전송 기법을 사용하지 않은 방법에 비해 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Wireless Virtual Reality (VR) users are able to enjoy immersive experience from anywhere at anytime. However, providing full spherical VR video with high quality under limited VR interaction latency is challenging. If the viewpoint of the VR user can be predicted in advance, only the required viewpoint is needed to be rendered and delivered, which can reduce the VR interaction latency. Therefore, in this paper, we use offline and online learning algorithms to predict viewpoint of the VR user using real VR dataset. For the offline learning algorithm, the trained learning model is directly used to predict the viewpoint of VR users in continuous time slots. While for the online learning algorithm, based on the VR user's actual viewpoint delivered through uplink transmission, we compare it with the predicted viewpoint and update the parameters of the online learning algorithm to further improve the prediction accuracy. To guarantee the reliability of the uplink transmission, we integrate the Proactive retransmission scheme into our proposed online learning algorithm. Simulation results show that our proposed online learning algorithm for uplink wireless VR network with the proactive retransmission scheme only exhibits about 5% prediction error.

연구 동기 및 목표

• 무선 VR 환경에서 높은 상호작용 지연 문제를 해결하기 위해 사용자 시점을 사전에 예측한다.
• 동적인 사용자 머리 움직임에 적응하지 못하는 정적 오프라인 모델의 한계를 극복한다.
• 온라인 학습 알고리즘과 실시간 업링크 피드백을 통합하여 예측 정확도를 향상시킨다.
• 채널 변동으로 인한 데이터 손실을 줄이기 위해 능동적 재전송 기법을 사용하여 시점 데이터의 업링크 전송 신뢰성을 확보한다.
• 단일 훈련 모델이 다양한 VR 영상 콘텐츠에 걸쳐 일관된 성능을 유지할 수 있도록 일반화 능력을 입증한다.

제안 방법

• 실제 VR 데이터셋을 기반으로 K-폴드 교차검증을 사용해 n차선형회귀(LR), 신경망(NN), 게이트형 순환단위(GRU)를 오프라인 학습한다.
• 실제 시점 피드백을 업링크 전송을 통해 수신함으로써 동적으로 모델 파라미터를 업데이트하는 온라인 학습 알고리즘을 구현한다.
• 업링크 시점 전송의 신뢰성을 향상시키기 위해 능동적 재전송 기법을 통합하여 채널 변동으로 인한 데이터 손실을 줄인다.
• 시점 시퀀스의 시간적 상관관계를 모델링하기 위해 GRU 기반 순환신경망을 사용하여 선형 모델보다 더 우수한 장기 예측 성능을 달성한다.
• 신뢰성 있는 및 불안정한 업링크 조건 하에서 오프라인 및 온라인 버전의 LR, NN, GRU의 예측 성능을 비교한다.
• 모델 일반화 능력을 평가하기 위해 16개의 모든 VR 영상에 대해 단일 모델을 훈련하고, 미리 보지 않은 데이터로 테스트한다.

실험 결과

연구 질문

• RQ1 무선 VR 네트워크에서 온라인 학습 알고리즘이 정적 오프라인 모델에 비해 시점 예측 정확도를 향상시키는가?
• RQ2 능동적 업링크 재전송은 시점 피드백의 신뢰성과 그에 따른 예측 정확도에 어떤 영향을 미치는가?
• RQ3 시간이 지남에 따라 동적인 VR 사용자 시점 예측에서 LR 및 NN에 비해 GRU의 성능 향상은 어느 정도인가?
• RQ4 다양한 콘텐츠 유형에 걸쳐 일관된 예측 정확도를 유지하기 위해 여러 VR 영상에 대해 훈련된 단일 통합 모델이 잘 일반화되는가?
• RQ5 예측 오차는 시간이 지남에 따라 어떻게 변화하는가, 그리고 모델 적응은 장기적 오차 감소에 어떤 역할을 하는가?

주요 결과

• 능동적 재전송을 적용한 온라인 GRU 알고리즘이 5% 미만의 예측 오차를 기록하여, 오프라인 모델 및 재전송 기법을 사용하지 않은 방법에 비해 뚜렷이 뛰어난 성능을 보였다.
• 영상 재생 초반에는 안정적인 初기 시점 행동으로 인해 15차선형회귀(LR)가 GRU보다 더 우수한 성능을 보였지만, 50개의 타임슬롯 이후에는 GRU가 더 나은 동적 변화 모델링 능력으로 인해 LR을 앞서기 시작했다.
• 온라인 학습 알고리즘의 성능은 초기에 약간의 변동을 보이며, 사용자 행동 패턴에 적응하기 위해 파라미터 업데이트를 통해 점진적으로 안정화된다.
• 능동적 재전송 기법은 실제 시점 데이터의 신뢰성 있는 전달을 보장함으로써 모델 업데이트에 필요한 피드백을 확보하여 예측 정확도를 향상시켰다.
• 제네이-보조 기법(완벽한 업링크 조건)은 온라인 GRU에 재전송 기법을 적용한 것보다 略적으로 우수한 성능을 보였지만, 격차는 미미하여 제안된 기법의 높은 강건성을 입증했다.
• 16개의 모든 VR 영상에 대해 단일 모델을 훈련한 결과, 다양한 콘텐츠 유형에 걸쳐 유사한 예측 정확도를 확보하여 강력한 일반화 능력을 입증했다.