[論文レビュー] HTML5 MSE playback of MPEG 360 VR tiled streaming: JavaScript implementation of MPEG-OMAF viewport-dependent video profile with HEVC tiles

Dimitri Podborski, Jangwoo Son+5 more|arXiv (Cornell University)|Jun 18, 2019

Video Coding and Compression Technologies被引用数 3

ひとこと要約

本稿では、HTML5 Media Source Extensions (MSE) および WebGL を使用して、360° VR ストリーミング用の高度な HEVC ベースのビューポート依存 OMAF ビデオプロファイルをクライントサイド、ブラウザベースで実装する手法を提示する。Safari において、リアルタイムで領域ごとのタイリングされたレンダリングを実現し、ブラウザの制限を特定のワークアラウンドによって克服することで、標準準拠のクライントサイド JavaScript 環境におけるビューポート依存ストリーミングを実現した。

ABSTRACT

Virtual Reality (VR) and 360-degree video streaming have gained significant attention in recent years. First standards have been published in order to avoid market fragmentation. For instance, 3GPP released its first VR specification to enable 360-degree video streaming over 5G networks which relies on several technologies specified in ISO/IEC 23090-2, also known as MPEG-OMAF. While some implementations of OMAF-compatible players have already been demonstrated at several trade shows, so far, no web browser-based implementations have been presented. In this demo paper we describe a browser-based JavaScript player implementation of the most advanced media profile of OMAF: HEVC-based viewport-dependent OMAF video profile, also known as tile-based streaming, with multi-resolution HEVC tiles. We also describe the applied workarounds for the implementation challenges we encountered with state-of-the-art HTML5 browsers. The presented implementation was tested in the Safari browser with support of HEVC video through the HTML5 Media Source Extensions API. In addition, the WebGL API was used for rendering, using region-wise packing metadata as defined in OMAF.

研究の動機と目的

• 標準準拠のクライントサイド 360° VR ビデオ再生を、Web ブラウザで HEVC ベースのビューポート依存 OMAF プロファイルを使用して実現すること。
• 特に HEVC エンコード済みのタイリングビデオに対応する、最新の OMAF メディアプロファイルの既存の Web ベース実装の不足に対処すること。
• HTML5 ブラウザにおける HEVC デコードおよびビューポート依存ストリーミングの制限を克服し、MSE および WebGL を使用して、マルチリソリューションタイルのビューポート依存レンダリングを実現すること。
• 標準の Web ブラウザ環境内での OMAF準拠 360° VR ビデオの完全に機能するリアルタイム再生パイプラインを実証すること。

提案手法

• マルチリソリューション HEVC エンコード済みビデオタイルのストリーミングおよびデコードに、HTML5 Media Source Extensions (MSE) API を使用した JavaScript ベースのプレーヤーを実装した。
• WebGL API を使用してレンダリングを行い、OMAF 標準で定義された領域ごとのパッケージングメタデータを適用して、タイルを球面領域にマッピングした。
• 現在の HTML5 ブラウザにおける HEVC デコードおよびビューポート依存ストリーミングのサポートの制限を補うために、ブラウザ固有のワークアラウンドを適用した。
• ユーザーの現在のビューポートに関連するタイルのみを動的に選択・ストリームするクライントサイドアーキテクチャを設計し、帯域幅とパフォーマンスを最適化した。
• ユーザーの頭部の向きに応じて必要なビデオタイルのみをレンダリングするため、ビューポート追跡を統合した。
• Safari で実装をテストし、MSE API を介してネイティブに HEVC をサポートする仕組みを活用して、リアルタイム再生を実現した。

実験結果

リサーチクエスチョン

• RQ1 現代の Web ブラウザにおいて、クライントサイド JavaScript および標準 Web API のみを用いて、完全に標準準拠のビューポート依存 360° VR ビデオプレーヤーを実装できるか？
• RQ2 現在のブラウザで HTML5 MSE および WebGL を使用して、ビューポート依存のマルチリソリューション HEVC タイルをレンダリングする際の主な技術的課題は何か？
• RQ3 HEVC デコードおよびタイルストリーミングにおけるブラウザの制限をどのように克服すれば、OMAF準拠 360° VR ビデオのリアルタイムで低レイテンシの再生を実現できるか？
• RQ4 ブラウザ環境において、領域ごとのタイルパッケージングと WebGL を使用して、OMAF ビューポート依存ビデオプロファイルをどの程度効率的にレンダリングできるか？
• RQ5 クライントサイド Web 環境で高度な OMAF 機能を実装する際、どのようなパフォーマンスと互換性のトレードオフが生じるか？

主な発見

• 提示された JavaScript 実装により、標準 Web API のみを用いて、Safari ブラウザで HEVC ベースのビューポート依存 360° VR ビデオのリアルタイム再生が成功裏に実現された。
• Safari における HEVC デコードサポートを備えた HTML5 MSE の使用により、マルチリソリューションビデオタイルの低レイテンシで適応性のあるストリーミングが可能になった。
• OMAF で定義された領域ごとのタイルパッケージングメタデータが、WebGL レンダリング中に球面領域へのタイルマッピングに効果的に活用された。
• 特にビューポート依存タイル選択の制限を補うために、ブラウザ固有のワークアラウンドが不可欠であった。
• 実装により、複雑な OMAF プロファイルがネイティブに Web ブラウザ内でレンダリング可能であり、ネイティブプラグインや外部依存性を必要としないことが実証された。
• 解決策は、完全にブラウザ環境内に閉じた、機能的で標準準拠の OMAF 準拠 360° VR ストリーミングのパイプラインを実現した。