[논문 리뷰] QoE-Oriented Resource Allocation for 360-degree Video Transmission over Heterogeneous Networks

Wei Huang, Lianghui Ding외 4명|arXiv (Cornell University)|2018. 03. 21.

Image and Video Quality Assessment참고 문헌 31인용 수 5

한 줄 요약

이 논문은 이질적 LTE/와이파이 네트워크를 통해 360도 VR 영상 스트리밍을 위한 응용계층 자원 할당 기법을 제안하며, 사용자 연계, 시각적 주목도 및 시야(FOV) 예측 기반의 타일 수준 비트레이트 할당, 그리고 계층적 버퍼 전략을 통합하여 QoE를 향상시킨다. 히우리스틱 최적화를 통해 낮은 복잡도로 높은 시스템 유틸리티를 달성하며, 동적 네트워크 환경에서 벤치마크보다 뛰어난 성능을 발휘한다.

ABSTRACT

Immersive media streaming, especially virtual reality (VR)/360-degree video streaming which is very bandwidth demanding, has become more and more popular due to the rapid growth of the multimedia and networking deployments. To better explore the usage of resource and achieve better quality of experience (QoE) perceived by users, this paper develops an application-layer scheme to jointly exploit the available bandwidth from the LTE and Wi-Fi networks in 360-degree video streaming. This newly proposed scheme and the corresponding solution algorithms utilize the saliency of video, prediction of users' view and the status information of users to obtain an optimal association of the users with different Wi-Fi access points (APs) for maximizing the system's utility. Besides, a novel buffer strategy is proposed to mitigate the influence of short-time prediction problem for transmitting 360-degree videos in time-varying networks. The promising performance and low complexity of the proposed scheme and algorithms are validated in simulations with various 360-degree videos.

연구 동기 및 목표

• 360도/VR 영상 스트리밍에서 높은 대역폭 수요 문제를 해결하기 위해 LTE 및 와이파이 네트워크 간 자원 사용을 최적화한다.
• 사용자와 와이파이 액세스 포인트 간 연계 및 시각적 주목도와 예측된 시야 기반의 타일 수준 비트레이트 할당을 통합하여 QoE를 향상시킨다.
• 단기적인 채널 변동성과 시야 기반 전송에서의 예측 오류 영향을 새로운 버퍼 관리 전략을 통해 완화한다.
• 다중 사용자, 다중 RAT 환경에서 NP-하드 혼합정수 최적화 문제를 해결하기 위한 저복잡도 히우리스틱 알고리즘을 개발한다.

제안 방법

• 시스템은 360도 영상에서 주목도가 높은 영역을 우선적으로 더 높은 품질로 전송하기 위해 주목도 맵을 사용한다.
• 시야(FOV) 예측을 통해 사용자가 현재 시청 중인 타일을 식별하여 타겟 기반 고비트레이트 전송을 가능하게 한다.
• 통합 최적화 프레임워크는 사용자를 최적의 와이파이 액세스 포인트에 할당하고, LTE 및 와이파이 대역폭을 타일 간에 할당하여 시스템 유틸리티를 최대화한다.
• 계층적 버퍼 업데이트 전략은 현재 채널 상태 및 예측 정확도에 따라 버퍼 내용을 동적으로 조정하여 재버퍼링 위험과 품질 손실 간의 균형을 이룬다.
• NP-하드 혼합정수 문제를 저연산 복잡도로 해결하기 위해 히우리스틱 탐색 알고리즘을 제안한다.
• 타일 기반 영상 표현 방식과 QoE 인식 비트레이트 할당을 통합하여 시각적으로 주목도가 높고 시청 가능한 타일을 우선순위로 한다.

실험 결과

연구 질문

• RQ1 다중 사용자, 다중 와이파이 액세스 포인트, 다중 타일 환경에서 자원 할당을 어떻게 통합 최적화하여 360도 영상 스트리밍에서 QoE를 극대화할 수 있는가?
• RQ2 주목도와 예측된 시야가 360도 영상 타일의 최적 비트레이트 할당에 미치는 영향은 무엇인가?
• RQ3 시간에 따라 변하는 네트워크 조건에서 재버퍼링을 줄이고 높은 품질을 유지하기 위해 버퍼 관리는 어떻게 설계할 수 있는가?
• RQ4 시야 기반 360도 영상 전송에서 버퍼 크기, 예측 정확도, QoE 간의 상충 관계는 무엇인가?

주요 결과

• 제안된 계층적 버퍼 업데이트 전략은 짧은 버퍼나 긴 버퍼 전략보다 재버퍼링과 품질 손실 간의 균형을 더 잘 이룩하여 평균 유틸리티가 높아진다.
• 특히 채널 상태가 변동성이 큰 동적 네트워크 환경에서 기존의 벤치마크 방법에 비해 시스템 유틸리티가 크게 향상된다.
• 높은 주목도 영역(예: 코끼리)을 시청하는 사용자는 더 높은 비트레이트를 받으며, 이는 시각적 중요도와 부합하고 소량의 비트레이트 차이에도 불구하고 QoE 향상에 기여한다.
• 히우리스틱 알고리즘은 전수 탐색에 비해 훨씬 낮은 계산 복잡도로 근사 최적 성능를 달성하여 실시간 구현에 실용적이다.
• FoV 크기가 변하더라도 예측된 시야 내에 있는 타일과 주목도가 높은 타일에만 높은 비트레이트를 할당함으로써 낭비되는 대역폭을 효과적으로 줄인다.
• 시뮬레이션 결과는 제안된 방법이 다양한 시청 행동과 네트워크 조건을 가진 다수의 사용자에게도 높은 QoE를 유지함을 보여준다.