[論文レビュー] A Rate Adaptation Algorithm for Tile-based 360-degree Video Streaming

Arnob Ghosh, Vaneet Aggarwal+1 more|arXiv (Cornell University)|Apr 26, 2017

Image and Video Quality Assessment参考文献 13被引用数 39

ひとこと要約

本稿では、予測されたユーザー視線方向（FoV）と帯域幅の可用性に基づいて、個々のビデオタイルの品質を動的に調整する、タイルベースの360度ビデオストーリング向けに新規なレート適応アルゴリズムを提案する。凸緩和と確率的最適化を用いて、空間的（タイル選択）および時間的（品質適応）次元を統合最適化することで、ベースラインと比較して少なくとも20％のQoE向上を達成し、実用的仮定の下で理論的最適性保証を有する。

ABSTRACT

In the 360-degree immersive video, a user only views a part of the entire raw video frame based on her viewing direction. However, today's 360-degree video players always fetch the entire panoramic view regardless of users' head movement, leading to significant bandwidth waste that can be potentially avoided. In this paper, we propose a novel adaptive streaming scheme for 360-degree videos. The basic idea is to fetch the invisible portion of a video at the lowest quality based on users' head movement prediction and to adaptively decide the video playback quality for the visible portion based on bandwidth prediction. Doing both in a robust manner requires overcome a series of challenges, such as jointly considering the spatial and temporal domains, tolerating prediction errors, and achieving low complexity. To overcome these challenges, we first define quality of experience (QoE) metrics for adaptive 360-degree video streaming. We then formulate an optimization problem and solve it at a low complexity. The algorithm strategically leverages both future bandwidth and the distribution of users' head positions to determine the quality level of each tile (i.e., a sub-area of a raw frame). We further provide theoretical proof showing that our algorithm achieves optimality under practical assumptions. Numerical results show that our proposed algorithms significantly boost the user QoE by at least 20\% compared to baseline algorithms.

研究の動機と目的

• 現在の360度ビデオストーリングでは、ユーザーの視線方向に関係なくパノラマチャンク全体を均一な品質でダウンロードするため、帯域幅の著しい無駄が生じるという非効率性を是正すること。
• 空間的（FoV）および時間的（帯域幅）ドメインにおけるタイル選択と品質適応を統合最適化することで、ユーザーのQoEを最大化すること。
• FoVおよび帯域幅の予測誤差を考慮した低複雑性で頑健なアルゴリズムを構築し、不確実性下でも一貫した再生品質を確保すること。
• 平均FoV内タイルレートと、耐障害性を確保するための最小保証レートを組み合わせた、360度ビデオストーリングのQoE指標を形式的に定義すること。
• 実用的仮定（確率的帯域幅とFoV予測誤差を含む）の下で、提案アルゴリズムの理論的最適性を証明すること。

提案手法

• 著者らは、可視タイルの平均再生レートとそれらの中での最小レートを組み合わせた複合QoE指標を定義し、最小レートに確率的保証を付与する。
• 帯域幅制約およびFoV予測制約の下でQoEを最大化する非凸最適化問題を定式化し、離散的レート変数の連続的緩和を用いて凸問題に緩和する。
• 将来の帯域幅およびユーザーFoV分布の不確実性を扱うために確率的最適化を用い、予測誤差を確率的フレームワークでモデル化する。
• 2つのアルゴリズムを提案：アルゴリズム1は凸緩和アプローチを用い、アルゴリズム3は双対性およびラグランジュ緩和技術を用いて、定義されたQoE指標下で最適性が証明されている。
• 解法は、360度ビデオを事前にタイルに分割し、予測されたヘッドムーブメントとネットワーク状態に応じて、どのタイルをどの品質でダウンロードするかを動的に選択する。
• 歴史的ヘッドムーブメントデータとリアルタイムの帯域幅推定を活用してタイルフェッチ意思決定を最適化し、ストールを最小限に抑えながら一貫した品質を確保する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー視線方向の空間的認識を活用することで、360度ビデオストーリングをどのようにより帯域幅効率よく実現できるか？
• RQ2 平均とFoV内最小タイル品質の両方を考慮した、360度ビデオに適した有効なQoE指標は何か？
• RQ3 予測誤差が存在する中で、空間的（タイル選択）および時間的（時間的品質）次元におけるレート適応をどのように統合最適化できるか？
• RQ4 帯域幅およびFoV予測誤差が存在する状況でも、近似的に最適なQoE性能を達成できる低複雑性アルゴリズムは可能か？
• RQ5 予測誤差およびリソース制約の現実的仮定下で、提案アルゴリズムの理論的性能保証は何か？

主な発見

• 数値評価において、提案アルゴリズム（アルゴリズム3）はベースラインおよびグリーディアルゴリズムと比較して、ユーザーQoEを少なくとも20％向上させる。
• 高いFoV予測不確実性（β = 0.6）下でも、アルゴリズム3は最小保証レート（確率αでのレート）においてベースラインを25％以上上回る。
• 高い帯域幅予測誤差（p = 0.25）下では、予測不確実性が高まるにつれて高品質タイルの取得数を減少させ、ストール時間の最小化と耐障害性の向上を実現する。
• ダウンロードされたタイルビットレートの分布から、アルゴリズム1およびアルゴリズム3の両方が、高確率のFoVタイルを高品質で優先し、低確率タイルへの無駄を最小化していることが明らかになった。
• FoV予測誤差が増加する（低β）状況下で、アルゴリズム3は最小レートの確率的保証により、アルゴリズム1よりも高い品質の一貫性を実現している。
• すべてのタイルを同じ品質でダウンロードするベースラインアルゴリズムは、不確実性が増加しても改善を示さないが、提案アルゴリズムは品質とタイル選択を動的に調整することでQoEを維持している。