[논문 리뷰] A Rate Adaptation Algorithm for Tile-based 360-degree Video Streaming

Arnob Ghosh, Vaneet Aggarwal외 1명|arXiv (Cornell University)|2017. 04. 26.

Image and Video Quality Assessment참고 문헌 13인용 수 39

한 줄 요약

이 논문은 예측된 사용자 시야 방향(FoV)과 가용 대역폭을 기반으로 개별 비디오 타일의 품질을 동적으로 조정하는 타일 기반 360도 비디오 스트리밍을 위한 새로운 비율 적응 알고리즘을 제안한다. 볼록 연속화와 확률적 최적화를 사용하여 공간(타일 선택)과 시간(품질 적응) 차원을 동시에 최적화함으로써, 기준 대비 최소 20% 향상된 사용자 QoE를 달성하며, 실용적인 가정 하에 이론적 최적성 보장을 제공한다.

ABSTRACT

In the 360-degree immersive video, a user only views a part of the entire raw video frame based on her viewing direction. However, today's 360-degree video players always fetch the entire panoramic view regardless of users' head movement, leading to significant bandwidth waste that can be potentially avoided. In this paper, we propose a novel adaptive streaming scheme for 360-degree videos. The basic idea is to fetch the invisible portion of a video at the lowest quality based on users' head movement prediction and to adaptively decide the video playback quality for the visible portion based on bandwidth prediction. Doing both in a robust manner requires overcome a series of challenges, such as jointly considering the spatial and temporal domains, tolerating prediction errors, and achieving low complexity. To overcome these challenges, we first define quality of experience (QoE) metrics for adaptive 360-degree video streaming. We then formulate an optimization problem and solve it at a low complexity. The algorithm strategically leverages both future bandwidth and the distribution of users' head positions to determine the quality level of each tile (i.e., a sub-area of a raw frame). We further provide theoretical proof showing that our algorithm achieves optimality under practical assumptions. Numerical results show that our proposed algorithms significantly boost the user QoE by at least 20\% compared to baseline algorithms.

연구 동기 및 목표

• 현재 360도 비디오 스트리밍 방식은 사용자 시야 방향과 무관하게 전체 풍경 청크를 동일한 품질로 다운로드하여 심각한 대역폭 낭비를 초래하므로 이를 해결하고자 한다.
• 공간(시야 영역(FoV))과 시간(대역폭) 영역에서 타일 선택과 품질 적응을 동시에 최적화하여 사용자 경험 품질(QoE)을 극대화하고자 한다.
• 예측 오차가 있는 시야 방향(FoV)과 대역폭을 고려한 저복잡도이면서도 강건한 알고리즘을 개발하여 불확실성 하에서도 일관된 재생 품질을 보장하고자 한다.
• 360도 비디오 스트리밍을 위한 QoE 지표를 공식적으로 정의하고, FoV 내 평균 타일 비트레이트와 강건성 확보를 위한 최소 보장 비트레이트를 모두 포함하고자 한다.
• 실제 가정 조건 하에, 즉 확률적 대역폭과 FoV 예측 오차를 고려할 때 제안된 알고리즘의 이론적 최적성 증명을 제공하고자 한다.

제안 방법

• 저자들은 가시 타일의 평균 재생 비트레이트와 그 중 최소 비트레이트를 조합한 복합 QoE 지표를 정의하며, 최소 비트레이트에 대한 확률적 보장을 포함한다.
• 대역폭 제약과 FoV 예측 제약 하에서 QoE를 극대화하는 비볼록 최적화 문제를 수립한 후, 이산 비트레이트 변수의 연속화를 통해 볼록 문제로 변환한다.
• 알고리즘은 향후 대역폭과 사용자 FoV 분포의 불확실성을 다루기 위해 확률적 프레임워크를 활용한 확률적 최적화 기법을 사용한다.
• 두 가지 알고리즘이 제안된다: 알고리즘 1은 볼록 연속화 기반 접근을 사용하며, 알고리즘 3은 이중성과 라그랑주 연속화 기법을 사용하여 정의된 QoE 지표 하에서 최적임을 증명한다.
• 해결 방법은 360도 비디오를 사전에 타일로 분할하고, 예측된 머리 이동과 네트워크 상태에 따라 어떤 타일을 어떤 품질로 다운로드할지 동적으로 선택하는 것이다.
• 이 접근법은 역동적 머리 이동 데이터와 실시간 대역폭 추정을 활용하여 타일 확보 결정을 이끌어내며, 정지 시간을 최소화하고 일관된 품질을 보장한다.

실험 결과

연구 질문

• RQ1 사용자 시야 방향의 공간 인식을 활용하여 360도 비디오 스트리밍의 대역폭 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 FoV 내 평균 및 최소 타일 품질을 모두 고려한 효과적인 360도 비디오 QoE 지표는 무엇인가?
• RQ3 예측 불확실성 하에서 공간(타일 선택)과 시간(시간에 따른 품질) 차원을 동시에 최적화하는 비율 적응은 어떻게 실현할 수 있는가?
• RQ4 대역폭 및 FoV 예측 오차가 존재하는 상황에서 저복잡도 알고리즘이 근사 최적의 QoE 성능을 달성할 수 있는가?
• RQ5 실제 예측 오차와 자원 제약 조건 하에서 제안된 알고리즘의 이론적 성능 보장은 무엇인가?

주요 결과

• 수치 평가에서 제안된 알고리즘(알고리즘 3)은 기준 알고리즘과 게으른 알고리즘 대비 사용자 QoE를 최소 20% 향상시킨다.
• 높은 FoV 예측 불확실성(β = 0.6) 조건에서도 알고리즘 3는 기준 대비 최소 보장 비트레이트(확률 α 기준)에서 25% 이상 향상된다.
• 높은 대역폭 예측 오차(p = 0.25) 조건에서 알고리즘은 불확실성이 증가함에 따라 고품질 타일의 수확을 줄여 정지 시간을 최소화하고 강건성을 향상시킨다.
• 다운로드된 타일 비트레이트 분포를 분석한 결과, 알고리즘 1과 3 모두 높은 확률의 FoV 타일을 더 높은 품질로 우선 처리하며, 낮은 확률의 타일에는 낭비를 최소화한다.
• FoV 예측 오차가 증가할수록(낮은 β), 알고리즘 3는 최소 비트레이트에 대한 확률적 보장을 통해 알고리즘 1보다 더 높은 품질 일관성을 확보한다.
• 기준 알고리즘은 모든 타일을 동일한 품질로 다운로드하므로 불확실성이 증가해도 성능 향상이 없지만, 제안된 알고리즘들은 QoE 유지를 위해 품질과 타일 선택을 적응적으로 조정한다.