[논문 리뷰] A Robust Algorithm for Tile-based 360-degree Video Streaming with Uncertain FoV Estimation

Arnob Ghosh, Vaneet Aggarwal외 1명|arXiv (Cornell University)|2018. 11. 30.

Video Coding and Compression Technologies참고 문헌 22인용 수 6

한 줄 요약

이 논문은 불확실한 대역폭과 머리 움직임을 고려한 타일 기반 360도 비디오 스트리밍을 위한 강건한 확률적 최적화 알고리즘인 360-ROBUST을 제안한다. 시청 확률을 인공지능 기반으로 수집하고, 비볼록 확률적 최적화 문제를 수립함으로써, 유한한 최적성 갭을 갖는 완화된 볼록 해법을 사용해 스트리밍 속도를 동적으로 조정함으로써, 실제 사용자 트레이스를 사용한 시뮬레이션 환경에서 기존 기준 대비 30% 높은 QoE와 50% 높은 스트리밍 속도를 달성한다.

ABSTRACT

We propose a robust scheme for streaming 360-degree immersive videos to maximize the quality of experience (QoE). Our streaming approach introduces a holistic analytical framework built upon the formal method of stochastic optimization. We propose a robust algorithm which provides a streaming rate such that the video quality degrades below that rate with very low probability even in presence of uncertain head movement, and bandwidth. It assumes the knowledge of the viewing probability of different portions (tiles) of a panoramic scene. Such probabilities can be easily derived from crowdsourced measurements performed by 360 video content providers. We then propose efficient methods to solve the problem at runtime while achieving a bounded optimality gap (in terms of the QoE). We implemented our proposed approaches using emulation. Using real users' head movement traces and real cellular bandwidth traces, we show that our algorithms significantly outperform the baseline algorithms by at least in $30\%$ in the QoE metric. Our algorithm gives a streaming rate which is $50\%$ higher compared to the baseline algorithms when the prediction error is high.

연구 동기 및 목표

• 변동하는 대역폭과 예측 불가능한 사용자 머리 움직임을 고려한 강력하고 대역폭 효율적인 360도 비디오 스트리밍 알고리즘이 부족한 문제를 해결하기 위해.
• 타일 기반 360도 비디오 스트리밍에서 스트리밍 속도, 청크 간 품질 변동성, 스탠드 타임을 종합적으로 최적화하는 분석 프레임워크를 개발하기 위해.
• 이산적이고 비볼록 전략 공간에서도 성능 손실가 한정된 해법을 보장함으로써, 불확실성 하에서도 고품질 재생을 보장하고 QoE 저하를 최소화하기 위해.
• 실시간으로 변화하는 대역폭과 FoV 변화에 대응하기 위해 온라인이고 저오버헤드인 알고리즘 설계를 통해 실시간 적응을 가능하게 하기 위해.
• 실제 사용자 머리 움직임 및 이동통신 대역폭 트레이스를 사용한 시뮬레이션 환경에서 알고리즘의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 고정된 대역폭과 예측 불가능한 사용자 머리 움직임 하에서 최소 스트리밍 속도를 고려한 확률적 최적화 문제를 수립함으로써, 스탠드 타임과 청크 간 속도 변동성을 최소화한다.
• 모든 타일의 중요도를 우선순위에 따라 스트리밍하기 위해 인공지능 기반 측정을 통해 수집한 시청 확률과 FoV 예측 결과를 활용한다.
• 원래의 비볼록 문제를 완화하여 볼록 문제로 변환함으로써 효율적인 해법 계산을 가능하게 하고, 이후 완화된 해법을 원래 문제의 타당해로 다시 매핑한다.
• 창 크기 W를 갖는 윈도우 기반 온라인 적응 메커니즘을 도입하여 속도 할당 결정에서 보수성과 공격성 사이의 균형을 맞춘다.
• 이산적이고 비볼록 전략 공간에서도 성능 손실가 유한함을 보장하기 위해 유한한 최적성 갭 증명을 활용한다.
• 실제 TCP/IP 전송, 합성 타일, 현실적인 이동통신 트레이스를 사용한 시뮬레이션 프레임워크에서 알고리즘을 구현하여 평가한다.

실험 결과

연구 질문

• RQ1 불확실한 대역폭과 예측 불가능한 사용자 머리 움직임 하에서 360도 비디오 스트리밍 알고리즘이 어떻게 강력하게 높은 QoE를 유지할 수 있는가?
• RQ2 타일 기반 360도 비디오 전달에서 스트리밍 속도, 품질 일관성, 스탠드 타임 사이의 최적 균형은 무엇인가?
• RQ3 확률적 최적화는 비볼록이고 이산적인 전략 공간에 어떻게 적용되어 성능 손실가 유한하게 보장될 수 있는가?
• RQ4 휴머니티 기반 시청 확률은 히우리스틱 또는 공격적인 접근 방식에 비해 스트리밍 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 창 크기와 대역폭 또는 FoV 예측 오차는 스트리밍 알고리즘의 강건성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 360-ROBUST 알고리즘은 모든 평가 대상 사용자 트레이스에서 기존 알고리즘 대비 최소 30% 높은 QoE를 달성한다.
• 알고리즘은 기존 방법 대비 50% 높은 스트리밍 속도를 확보하여 재버퍼링과 품질 변동성을 크게 감소시킨다.
• 창 크기 W=5일 때 알고리즘이 최적 성능을 발휘하며, 속도 할당에서 공격성과 보수성의 균형을 잘 맞춘다.
• 높은 예측 오차가 발생하더라도 알고리즘이 높은 성능을 유지한다: 대역폭 또는 FoV 예측 오차가 증가하더라도 QoE 저하는 미미하다.
• 특히 BA1와 같은 비공격적 전략을 사용할 경우, 스탠드 타임이 기존 알고리즘 대비 최대 35% 감소한다.
• 유한한 최적성 갭 보장으로 인해 이산적이고 비볼록 결정 변수가 존재하는 상황에서도 해법이 이론적 최적에 매우 가까이 유지된다.