[논문 리뷰] Federated Echo State Learning for Minimizing Breaks in Presence in Wireless Virtual Reality Networks

Mingzhe Chen, Omid Semiari외 3명|arXiv (Cornell University)|2018. 12. 04.

Image and Video Quality Assessment참고 문헌 34인용 수 7

한 줄 요약

이 논문은 분산 학습을 활용하여 원시 데이터 공유와 지연을 방지하면서도 개인정보 보호와 확장성을 유지하면서 mmWave VR 네트워크에서 무선 가상현실(VR) 사용자의 존재감 단절(BIP)을 최소화하기 위해 연합 에코 스테이트 네트워크(FedESN) 프레임워크를 제안한다. 이 방법은 분산 학습을 통해 사용자 위치, 방향, 기지국(BS) 연결을 공동으로 예측함으로써 중앙집중형 딥 러닝 대비 최대 26%의 BIP 감소를 달성한다.

ABSTRACT

In this paper, the problem of enhancing the virtual reality (VR) experience for wireless users is investigated by minimizing the occurrence of breaks in presence (BIP) that can detach the users from their virtual world. To measure the BIP for wireless VR users, a novel model that jointly considers the VR application type, transmission delay, VR video quality, and users' awareness of the virtual environment is proposed. In the developed model, the base stations (BSs) transmit VR videos to the wireless VR users using directional transmission links so as to provide high data rates for the VR users, thus, reducing the number of BIP for each user. Since the body movements of a VR user may result in a blockage of its wireless link, the location and orientation of VR users must also be considered when minimizing BIP. The BIP minimization problem is formulated as an optimization problem which jointly considers the predictions of users' locations, orientations, and their BS association. To predict the orientation and locations of VR users, a distributed learning algorithm based on the machine learning framework of deep (ESNs) is proposed. The proposed algorithm uses concept from federated learning to enable multiple BSs to locally train their deep ESNs using their collected data and cooperatively build a learning model to predict the entire users' locations and orientations. Using these predictions, the user association policy that minimizes BIP is derived. Simulation results demonstrate that the developed algorithm reduces the users' BIP by up to 16% and 26%, respectively, compared to centralized ESN and deep learning algorithms.

연구 동기 및 목표

• 링크 차단, 전송 지연, 사용자 이동성으로 인한 무선 가상현실(VR)에서의 존재감 단절(BIP) 문제를 해결하기 위해.
• 정확한 예측을 위해 VR 애플리케이션 유형, 영상 품질, 전송 지연, 사용자 인지도를 종합적으로 고려하여 BIP를 공동 모델링하기 위해.
• 기지국(BS)들이 원시 데이터를 공유하지 않고도 사용자 이동 예측 모델을 공동으로 학습할 수 있도록 분산 학습 프레임워크를 개발하기 위해.
• 연합 에코 스테이트 네트워크(FedESN)의 예측을 활용하여 사용자 연계 및 비드 관리를 최적화함으로써 BIP를 최소화하기 위해.
• 실시간 VR 환경에서 중앙집중형 학습의 한계를 극복하기 위해 기지국에서 저지연, 개인정보 보호형 분산 추론을 가능하게 하기 위해.

제안 방법

• VR 애플리케이션 유형, 영상 품질, 전송 지연, 사용자 인지도를 통합하여 존재감 단절을 정량화하는 새로운 BIP 모델을 제안한다.
• 각 기지국에서 로컬 데이터를 사용하여 사용자 위치와 방향을 예측하기 위해 딥 에코 스테이트 네트워크(ESN)를 활용한다.
• 기지국들이 로컬 ESN 모델을 학습하고 원시 사용자 데이터를 공유하지 않고도 글로벌 모델 업데이트를 집계하는 연합 학습 프레임워크를 도입한다.
• 연합 ESN의 예측을 활용하여 사용자를 최적의 기지국으로 사전 전환할 수 있도록 BIP를 최소화하는 사용자 연계 정책을 도출한다.
• ESN의 기억 용량 분석을 통해 사용자 이동 패턴의 시간적 의존성을 잘 포착할 수 있음을 검증한다.
• 안정적이고 정확한 장기 예측을 보장하기 위해 재귀적 가중치 업데이트 규칙과 공분산 기반 출력 가중치를 적용한다.

실험 결과

연구 질문

• RQ1 무선 VR에서 네트워크 수준의 요소와 사용자 특화 행동 지표를 종합적으로 고려할 때 존재감 단절(BIP)은 어떻게 모델링할 수 있는가?
• RQ2 mmWave 기반 무선 VR 네트워크에서 사용자 이동성과 비드 차단은 BIP에 어떤 영향을 미치는가?
• RQ3 사용자 데이터를 중앙집중화하지 않고도 기지국에서 분산된 ESN을 효과적으로 학습하는 데 연합 학습을 활용할 수 있는가?
• RQ4 연합 ESN의 성능은 VR 사용자의 BIP를 최소화하는 데 있어 중앙집중형 딥 러닝과 비교해 어떻게 되는가?
• RQ5 사용자 위치 및 방향 예측 모델에서 유도된 최적의 사용자 연계 정책은 무엇인가?

주요 결과

• 제안된 연합 에코 스테이트 네트워크(FedESN)는 중앙집중형 ESN 대비 최대 16%, 중앙집중형 딥 러닝 대비 최대 26%의 BIP 감소를 달성한다.
• 연합 학습 프레임워크는 사용자 개인정보 보호를 유지하면서도 고지연 데이터 전송을 피하는 정확한 사용자 이동 예측을 가능하게 한다.
• ESN 모델의 기억 용량은 수학적으로 유도되었으며, 입력 특성 수와 네트워크 파라미터에 따라 비례함을 입증하여 시간적 의존성 모델링의 강건성을 보장한다.
• 사전 예측된 위치와 방향을 기반으로 사용자를 최적의 기지국으로 사전 재할당함으로써 시스템은 상당한 BIP 감소를 달성한다.
• 밀도 높은 무선 VR 환경에서 학습 지연 감소와 확장성 향상으로 인해 연합 방식이 중앙집중형 모델을 능가한다.
• BIP 모델은 네트워크 성능(지연, 데이터 전송률)과 사용자 인지도 간의 상호작용을 효과적으로 포착하여 종합적인 최적화를 가능하게 한다.