[논문 리뷰] Spatial and Temporal Consistency-Aware Dynamic Adaptive Streaming for 360-Degree Videos

Hui Yuan, Shiyun Zhao외 3명|arXiv (Cornell University)|2019. 12. 20.

Image and Video Quality Assessment참고 문헌 51인용 수 4

한 줄 요약

이 논문은 360도 비디오를 위한 공간적·시간적 일관성 인식 동적 적응형 스트리밍 프레임워크를 제안하며, 비트레이트 할당, 시야각(FoV) 예측, 타일 우선순위 지정을 종합적으로 최적화하여 사용자 경험 품질(QoE)을 향상시킨다. FoV 예측에 가우시안 모델을 사용하고 타일 다운로드에 제프 기반 우선순위 모델을 적용하여, 두 단계 최적화를 통해 시야각 품질, 공간 일관성, 시간적 매끄러움을 균형 있게 조절함으로써 제어된 환경과 실제 네트워크 환경에서 최신 기술 대비 뛰어난 QoE를 달성한다.

ABSTRACT

The 360-degree video allows users to enjoy the whole scene by interactively switching viewports. However, the huge data volume of the 360-degree video limits its remote applications via network. To provide high quality of experience (QoE) for remote web users, this paper presents a tile-based adaptive streaming method for 360-degree videos. First, we propose a simple yet effective rate adaptation algorithm to determine the requested bitrate for downloading the current video segment by considering the balance between the buffer length and video quality. Then, we propose to use a Gaussian model to predict the field of view at the beginning of each requested video segment. To deal with the circumstance that the view angle is switched during the display of a video segment, we propose to download all the tiles in the 360-degree video with different priorities based on a Zipf model. Finally, in order to allocate bitrates for all the tiles, a two-stage optimization algorithm is proposed to preserve the quality of tiles in FoV and guarantee the spatial and temporal smoothness. Experimental results demonstrate the effectiveness and advantage of the proposed method compared with the state-of-the-art methods. That is, our method preserves both the quality and the smoothness of tiles in FoV, thus providing the best QoE for users.

연구 동기 및 목표

• 제한된 대역폭 환경에서 동적 네트워크 조건에서 고화질 360도 비디오를 제공하는 데 도전 과제를 해결하기 위해.
• 사용자가 빠르게 시야를 바꿀 때 뷰포트 전환 지연을 줄이고, 시각 일관성을 유지하기 위해.
• 타일 간 비트레이트 할당을 최적화하여 시야각(FoV)에서 공간적·시간적 매끄러움을 유지하기 위해.
• 버퍼 관리, FoV 예측, 적응형 타일 다운로드 전략을 통합하여 사용자 QoE를 향상시키기 위해.
• 다양한 네트워크 및 시청 환경에서 기존 방법을 능가하는 견고한 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 새로운 비트레이트 적응 알고리즘은 버퍼 길이와 비디오 품질을 균형 있게 조절하여 각 비디오 세그먼트의 요청 비트레이트를 결정한다.
• 사용자 머리 이동 경향을 기반으로 각 비디오 세그먼트 시작 시 시야각(FoV)을 가우시안 모델이 예측한다.
• 360도 비디오의 모든 타일은 시청 중 뷰포트 전환이 발생할 가능성을 고려해 제프 기반 모델을 사용해 서로 다른 우선순위로 다운로드된다.
• 두 단계 최적화 알고리즘을 통해 타일에 비트레이트를 할당한다: 첫 번째로 시야각 품질을 확보하기 위한 근사적 할당, 두 번째로 공간적·시간적 일관성을 유지하기 위한 정밀 조정.
• DASH 기반 스트리밍과 타일 수준 인코딩, 동적 비트레이트 적응을 통합하여 적응형 품질 제공를 지원한다.
• 프리로딩을 통해 관련 타일을 우선순위에 따라 대역폭을 할당함으로써 갑작스러운 뷰포트 변경 시에도 부드러운 전환과 높은 시각 품질을 보장한다.

실험 결과

연구 질문

• RQ1 360도 비디오 스트리밍에서 버퍼 안정성과 비디오 품질을 균형 있게 유지하기 위해 비트레이트 적응을 어떻게 최적화할 수 있는가?
• RQ2 FoV 예측은 동적 시청 환경에서 뷰포트 전환 지연을 얼마나 줄이고 QoE를 향상시킬 수 있는가?
• RQ3 사용자 시청 확률 기반 타일 우선순위 지정은 대역폭 효율성과 시각 일관성을 어떻게 향상시킬 수 있는가?
• RQ4 공간적·시간적 매끄러움은 360도 비디오 전달에서 인식된 비디오 품질에 어떤 영향을 미치는가?
• RQ5 제안된 이중 단계 최적화는 다양한 네트워크 조건과 사용자 행동 하에서 FoV 품질과 일관성을 유지를 위해 기존 방법보다 어떻게 뛰어나게 작용하는가?

주요 결과

• 제안된 방법은 가장 낮은 FoV PSNR 표준편차(Std)와 시간 차이를 기록하여 뛰어난 시간적 매끄러움을 입증한다.
• 모든 테스트 환경에서, 즉 5%, 10%, 20%의 갑작스러운 뷰포트 전환 확률 조건에서도 제안된 방법이 가장 낮은 F-값(품질과 매끄러움을 종합한 지표)을 기록한다.
• 실제 네트워크 조건에서 제안된 방법은 가장 높은 가중 PSNR와 최고의 공간적·시간적 매끄러움을 확보하였으며, 시각적 및 정량적 분석으로 확인되었다.
• QoE 지표(16) 기준 15초 버퍼 기반에서 제안된 방법은 AdpaA, PD, AA 방법을 모두 능가하는 최고의 QoE 점수를 기록하였다.
• 갑작스러운 뷰포트 전환이 발생하더라도 제안된 방법은 가장 낮은 F-값과 가장 높은 QoE를 유지하여 AerialCity, DrivingInCountry, PoleVault 등의 다양한 비디오 콘텐츠에서 뛰어난 강건성을 입증하였다.
• 제안된 방법은 FoV 품질, 공간 일관성, 시간적 매끄러움 간 최적의 트레이드오프를 달성하였으며, PD 방법은 갑작스러운 전환 상황에서 타일 프리로딩 부족으로 인해 떨어진 성능을 보였다.