[論文レビュー] Spatial and Temporal Consistency-Aware Dynamic Adaptive Streaming for 360-Degree Videos

Hui Yuan, Shiyun Zhao+3 more|arXiv (Cornell University)|Dec 20, 2019

Image and Video Quality Assessment参考文献 51被引用数 4

ひとこと要約

本稿では、ビットレート割り当て、視野（FoV）予測、タイル優先順位の共同最適化により、体験品質（QoE）を向上させる、空間的・時間的整合性を考慮した動的適応ストリーミングフレームワークを提案する。FoV予測にガウスモデルを、タイルダウンロードにZipfベースの優先順位モデルを用い、視野品質、空間的整合性、時間的滑らかさのバランスをとるために2段階最適化を採用。制御環境および実ネットワーク環境の両方で、最先端手法を上回る優れたQoEを達成する。

ABSTRACT

The 360-degree video allows users to enjoy the whole scene by interactively switching viewports. However, the huge data volume of the 360-degree video limits its remote applications via network. To provide high quality of experience (QoE) for remote web users, this paper presents a tile-based adaptive streaming method for 360-degree videos. First, we propose a simple yet effective rate adaptation algorithm to determine the requested bitrate for downloading the current video segment by considering the balance between the buffer length and video quality. Then, we propose to use a Gaussian model to predict the field of view at the beginning of each requested video segment. To deal with the circumstance that the view angle is switched during the display of a video segment, we propose to download all the tiles in the 360-degree video with different priorities based on a Zipf model. Finally, in order to allocate bitrates for all the tiles, a two-stage optimization algorithm is proposed to preserve the quality of tiles in FoV and guarantee the spatial and temporal smoothness. Experimental results demonstrate the effectiveness and advantage of the proposed method compared with the state-of-the-art methods. That is, our method preserves both the quality and the smoothness of tiles in FoV, thus providing the best QoE for users.

研究の動機と目的

• 限られた帯域幅の中で、変動するネットワーク状態下でも高品質な360度ビデオ配信を実現すること。
• ユーザーが視界を急速に切り替える際のビューポート切り替え遅延を低減し、視覚的一致性を維持すること。
• 視野（FoV）内の空間的および時間的滑らかさを保つために、タイルごとのビットレート割り当てを最適化すること。
• バッファ管理、FoV予測、適応的タイルダウンロード戦略の統合により、ユーザーのQoEを向上させること。
• 多様なネットワーク状態および視聴シナリオにおいて、既存手法を上回る耐障害性を有するエンドツーエンドのフレームワークを開発すること。

提案手法

• バッファ長さと映像品質のバランスを取ることで、各ビデオセグメントの要求ビットレートを決定する新規レート適応アルゴリズム。
• ユーザーの頭部移動傾向をもとに、各ビデオセグメントの開始時に視野（FoV）を予測するガウスモデル。
• 360度ビデオのすべてのタイルを、再生中にビューポート切り替えが発生する可能性を考慮し、Zipfベースのモデルで異なる優先順位でダウンロード。
• 2段階最適化アルゴリズムによりタイルにビットレートを割り当てる：最初にFoV品質を確保する粗い割り当てを行い、次に空間的・時間的整合性を保つための微調整。
• DASHベースのストリーミングとタイル単位のエンコード、動的ビットレート適応を統合し、適応的品質配信を実現。
• 優先順位の高い帯域幅を用いて関連するタイルを事前にロードすることで、急なビューポート変更時でも滑らかな遷移と高い視覚的品質を実現。

実験結果

リサーチクエスチョン

• RQ1 360度ビデオストリーミングにおいて、バッファ安定性と映像品質のバランスを取るために、どのようにビットレート適応を最適化できるか？
• RQ2 視野（FoV）予測は、変動する視聴シナリオにおいて、どれほどビューポート切り替え遅延を低減し、QoEを向上させられるか？
• RQ3 ユーザーの視聴確率に基づくタイル優先順位付けは、帯域効率と視覚的一致性をどのように向上させるか？
• RQ4 空間的・時間的滑らかさは、360度ビデオ配信における認識される映像品質にどのような影響を与えるか？
• RQ5 提案手法の2段階最適化は、変動するネットワーク状態およびユーザー行動下で、FoV品質と整合性を維持するために、既存手法をどのように上回るか？

主な発見

• 提案手法は、FoV PSNRの標準偏差（Std）と時間的差分が最小であり、優れた時間的滑らかさを示している。
• テストされたすべてのシナリオ（5%、10%、20%の急なビューポート切り替え確率を含む）において、品質と滑らかさを統合した指標F値が最小である。
• 実ネットワーク環境でも、提案手法は最高の重み付きPSNRと、優れた空間的・時間的滑らかさを達成しており、視覚的および定量的分析で確認された。
• QoE指標（16）において、15秒バッファ基準で、AdpaA、PD、AA手法を上回る最高のQoEスコアを記録した。
• 急なビューポート切り替えが発生しても、提案手法は最小のF値と最高のQoEを維持しており、AerialCity、DrivingInCountry、PoleVaultなど多様な動画コンテンツにおいても耐障害性を示した。
• 提案手法は、FoV品質、空間的整合性、時間的滑らかさの間で最良のトレードオフを達成しており、PD手法は急な切り替え時に事前ロードされたタイルが不足しているため、劣悪な性能を示した。