[論文レビュー] Streaming Virtual Reality Content

Tarek El-Ganainy, Mohamed Hefeeda|arXiv (Cornell University)|Dec 26, 2016

Image and Video Quality Assessment参考文献 19被引用数 45

ひとこと要約

本論文は、効率的な表現、タイリング、品質評価に焦点を当てた、ストリーミング 360度バーチャルリアリティ（VR）コンテンツに関する包括的なサーベイを提示している。等距離円筒投影とキューブマップを含む投影方法の評価、タイリングおよび予測ストリーミングを含む適応ストリーミング技術の提案、および重み付き S-PSNR や歪みに配慮したモデルを含む品質の体験（QoE）指標の導入により、最小限の知覚的品質損失で最大80％の帯域幅削減を達成した。

ABSTRACT

The recent rise of interest in Virtual Reality (VR) came with the availability of commodity commercial VR prod- ucts, such as the Head Mounted Displays (HMD) created by Oculus and other vendors. To accelerate the user adoption of VR headsets, content providers should focus on producing high quality immersive content for these devices. Similarly, multimedia streaming service providers should enable the means to stream 360 VR content on their platforms. In this study, we try to cover different aspects related to VR content representation, streaming, and quality assessment that will help establishing the basic knowledge of how to build a VR streaming system.

研究の動機と目的

• スケーラブルなVRストリーミングシステムを構築するための基盤的知識を確立すること。
• 高解像度 360° ビデオのストリーミングにおける帯域幅非効率性を解消するために、コンテンツ表現および配信の最適化を行うこと。
• VRコンテンツにおける異なる投影マッピング（等距離円筒、キューブマップ、タイリング）を評価および比較すること。
• ユーザー中心の視聴行動を反映する品質評価モデルの開発および分析を行うこと。
• 帯域制限下でのバッファリングを低減し、QoEを向上させる予測ストリーミング技術を調査すること。

提案手法

• 球面ビデオの標準的なマッピングとして等距離円筒とキューブマップの投影を評価し、等距離円筒の広範な互換性の高さと高いピクセルの重複を指摘する。
• ユーザーが注目する領域の高品質ストリーミングを優先するため、フル、動的、予測、およびピラミッド型タイリングを含むタイリング戦略を分析する。
• 頭部の動きトレースとモデル（平均化、線形回帰）を用いた予測ストリーミングを提案し、ビューポートの変更を予測して関連するタイルを事前にストリーミングする。
• 客観的品質評価のための重み付き S-PSNR とゼロ領域歪みのない投影を導入し、主観的評価と相関を示す。
• ヘッドトラッキングデータを用いてユーザーのビューポートをシミュレートし、異なる投影方法とビットレートにおける平均および重み付き品質指標を計算する。
• 商業プラットフォーム（YouTube、Facebook）を比較し、両者とも MP4 コンテナで H.264 を使用しているが、YouTube は等距離円筒、Facebook はキューブマップ投影を採用していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 球面VRコンテンツを標準的な動画エンコードに適した2次元平面に効率的に表現・投影する方法は何か？
• RQ2 帯域幅の使用量を最小限に抑えつつ、VRにおける高い知覚的品質を維持するためのタイリングおよびストリーミング戦略は何か？
• RQ3 ユーザーの頭部の動き予測は、VRアプリケーションにおけるストリーミング効率を向上させ、バッファリングを低減するためにどのように寄与するか？
• RQ4 360° ビデオストリーミングにおけるユーザーの知覚的品質を最もよく反映する客観的品質指標は何か？
• RQ5 異なる投影方法（等距離円筒対キューブマップ対タイリング）は、コーディング効率とユーザー体験にどのように影響を与えるか？

主な発見

• 線形回帰モデルを用いた予測ストリーミングは、頭部の動き予測において90％の正確性を達成し、高品質タイルの効果的な事前ロードを可能にした。
• 予測およびタイリングストリーミング手法を用いることで、帯域幅消費を最大80％削減したが、フル解像度ストリーミングと同等のQoEを維持した。
• ピラミッド型タイリングはビットレートを顕著に低減しながらも、知覚的品質を保持し、フル品質ストリーミングと同等のQoEを達成した。
• 重み付き S-PSNR および歪みに配慮したモデルは、主観的品質評価と強い相関を示し、客観的評価に使用する妥当性を裏付けた。
• YouTube や Facebook のような商業プラットフォームは、MP4 コンテナで H.264 を使用しており、YouTube は等距離円筒を、Facebook はキューブマップ投影を採用している。
• 動的または予測された品質割り当てを伴うタイリングストリーミングは、均一なストリーミングに比べ、帯域幅効率およびユーザー体験の両面で優れた性能を示した。