[論文レビュー] Spatiotemporal Rate Adaptive Tiled Scheme for 360 Sports Events

Tarek El-Ganainy|arXiv (Cornell University)|May 14, 2017

Image and Video Quality Assessment参考文献 12被引用数 5

ひとこと要約

本稿は、スポーツイベントの高動的な特徴と視線の集中を考慮した新しい $tiled\_cubemap$ ティリング手法を用いて、オフセットキューブマップと比較してサーバーストレージを最大670%削減する、空間的・時間的レート適応型タイリングストリーミング方式を提案する。この手法は、ユーザーの帯域幅と視線方向に応じて品質レベルを動的に割り当てることで、視野から周辺へ滑らかに品質を低下させることが可能となる。

ABSTRACT

The recent rise of interest in Virtual Reality (VR) came with the availability of commodity commercial VR products, such as the Head Mounted Displays (HMD) created by Oculus and other vendors. One of the main applications of virtual reality that has been recently adopted is streaming sports events. For instance, the last olympics held in Rio De Janeiro was streamed over the Internet for users to view on VR headsets or using 360 video players. A big challenge for streaming VR sports events is the users limited bandwidth and the amount of data required to transmit 360 videos. While 360 video demands high bandwidth, at any time instant users are only viewing a small portion of the video according to the HMD field of view (FOV). Many approaches have been proposed in the literature such as proposing new representations (e.g. pyramid and offset-cubemap) and tiling the video and streaming the tiles currently being viewed. In this paper, we propose a tiled streaming framework, where we provide a degrading quality model similar to the state-of-the-art offset-cubemap while minimizing its storage requirements at the server side. We conduct objective studies showing the effectiveness of our approach providing smooth degradation of quality from the user FOV to the back of the 360 space. In addition, we conduct subjective studies showing that users tend to prefer our proposed scheme over offset-cubemap in low bandwidth connections, and they don't feel difference for higher bandwidth connections. That is, we achieve better perceived quality with huge storage savings up to 670%.

研究の動機と目的

• 360度動画ストリーミングにおける高い帯域幅とストレージ要件を解決すること。
• 制限された帯域幅下でも高品質な認識品質を維持しつつ、サーバーサイドのストレージオーバーヘッドを低減すること。
• ユーザーの視点とネットワーク状態に応じたタイル間での滑らかな品質遷移を可能にするティリングおよびレート適応フレームワークの開発。
• 最新のオフセットキューブマップと比較して、客観的および主観的品質評価の両面で提案手法の有効性を評価すること。

提案手法

• スポーツイベントのコンテンツ特徴（高動的・方向的集中）を考慮して最適化された、キューブマップ投影を用いた360度動画のタイル分割を行う新しい $tiled\_cubemap$ ティリング方式を導入する。
• 従来のQPベースのモデルではなく、品質ベースのレート適応モデルを採用することで、タイル品質レベルに対する細かい制御を可能にする。
• 利用可能な帯域幅に応じて、ユーザーの現在の視野内では高い品質を、周辺へ向かって徐々に品質を低下させる空間的・時間的レート適応アルゴリズムを定式化する。
• 10名の参加者を対象とした二重刺激主観テスト（DSCQS）を実施し、さまざまな帯域幅条件下で $tiled\_cubemap$ とオフセットキューブマップの間で認識品質を比較する。
• オフセットキューブマップが同じ設定（3つの帯域幅プロファイル、30のビューポート）で90のバージョンを必要とするのに対し、$tiled\_cubemap$ では各品質レベルごとにタイルを1回ずつ保存するため、合計6回の保存で済む。
• PSNR や SSIM などの指標を用いて、さまざまなネットワーク状態下での性能を検証するための客観的品質評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 タイリング方式としての $tiled\_cubemap$ は、360度動画ストリーミングにおけるサーバーストレージ要件を低減しつつ、高品質な認識品質を維持できるか？
• RQ2 提案された空間的・時間的レート適応アルゴリズムは、QPベースのモデルと比較して、客観的動画品質指標においてどのように性能を示すか？
• RQ3 低帯域幅条件下において、$tiled\_cubemap$ 方法は最新のオフセットキューブマップと比較して優れたか、同等の主観的品質を提供するか？
• RQ4 本手法は、360度スポーツ動画ストリーミングにおけるユーザーエクスペリエンスを損なわず、ストレージオーバーヘッドをどの程度低減できるか？

主な発見

• $tiled\_cubemap$ 方法は、3つの帯域幅プロファイルと30のビューポートを想定した場合、オフセットキューブマップが90の別々のエンコードバージョンを必要とするのに対し、最大670%のサーバーストレージ要件の削減を達成した。
• 主観的テストでは、低帯域幅条件下で $tiled\_cubemap$ がオフセットキューブマップよりも高い平均意見スコア差（DMOS）を示し、ユーザーが本手法を好む傾向が確認された。
• 高帯域幅条件下では、$tiled\_cubemap$ とオフセットキューブマップの間で認識品質に有意差は認められず、最適な条件下でも同等のユーザーエクスペリエンスが得られた。
• 客観的評価では、PSNR および SSIM の両指標において、品質ベースのレート適応モデルが従来のQPベースのモデルを上回ることが確認された。
• コンテンツや視聴履歴に基づいた柔軟なタイル優先順位付けが可能となり、ユーザー行動の動的変化に適応する能力が向上した。
• 提案されたフレームワークは、ユーザーの視野から周辺へ向かう滑らかな品質低下を実現し、均一または急激な品質遷移と比較して視覚的アーチファクトを低減した。