[論文レビュー] Volumetric video streaming: Current approaches and implementations

Irene Viola, Pablo César|arXiv (Cornell University)|Sep 5, 2022

Video Coding and Compression Technologies被引用数 6

ひとこと要約

本稿は、帯域制限および低性能デバイス上で低レイテンシで高品質な6DoF体験を実現するため、ボリュメトリックビデオストリーミングの現在のアプローチと実装をレビューする。主な焦点は圧縮、アダプティブストリーミング、タイリング、エッジ／クラウドレンダリングである。主な貢献は、Nebula や GROOT といった DASH ベースおよびオクトリー符号化システムの分析であり、視野に応じた配信と段階的デコードを最適化することで帯域と計算負荷を削減する。

ABSTRACT

The rise of capturing systems for objects and scenes in 3D with increased fidelity and immersion has led to the popularity of volumetric video contents that can be seen from any position and angle in 6 degrees of freedom navigation. Such contents need large volumes of data to accurately represent the real world. Thus, novel optimization solutions and delivery systems are needed to enable volumetric video streaming over bandwidth-limited networks. In this chapter, we discuss theoretical approaches to volumetric video streaming optimization, through compression solutions, as well as network and user adaptation, for high-end and low-powered devices. Moreover, we present an overview of existing end-to-end systems, and we point to the future of volumetric video streaming.

研究の動機と目的

• 帯域制限およびデバイス制限の下でボリュメトリックビデオストリーミングを最適化する現在の理論的および実践的アプローチを分析すること。
• 消費者ネットワークを介した高精細な6DoFボリュメトリックコンテンツ配信における主な課題を特定すること。
• インマーシブアプリケーション向けにリアルタイムでアダプティブにストリーミング可能なポイントクラウドおよびメッシュを実現するエンドツーエンドのシステムを評価すること。
• ユーザー行動モデリング、ビューポート予測、およびエッジレンダリングがQoEを向上させる役割を強調すること。
• コンテンツモデリング、ナビゲーションデータセット、およびインタラクティブボリュメトリック体験に関する今後の研究のニーズを概説すること。

提案手法

• 既存のボリュメトリックビデオストリーミングシステムを分析するため、サーベイベースの手法を用い、圧縮、タイリング、およびアダプティブ配信戦略に焦点を当てる。
• Nebula システムで実装された、レイヤー化符号化を用いた DASH ベースの段階的ストリーミングを検討する。これはモバイルポイントクラウド配信を対象としている。
• オクトリーに基づく階層的符号化とデコードを採用する GROOT アーキテクチャを分析し、高速でビューポート予測に基づくレンダリングを可能にする。
• 視錐カリングと深度ベースのサンプリングを適用し、3Dシーンの非可視領域を除外することでレンダリング負荷を低減する。
• ビューポートと帯域幅予測を統合し、ユーザーの動きと視野に基づいて関連する3Dデータの送信を優先する。
• エッジベースのレンダリングを評価し、モバイルデバイスからのデコードおよびレンダリングをオフロードすることで、レイテンシと電力消費を低減する。

実験結果

リサーチクエスチョン

• RQ1 帯域制限のあるネットワークにおいて、ボリュメトリックビデオストリーミングをどのように最適化できるか？
• RQ2 ユーザーのビューポート予測は、データ送信量とレンダリング負荷を低減する上で果たす役割は何か？
• RQ3 オクトリーのような階層的データ構造は、デコード効率を向上させ、高速で選択的レンダリングを可能にするか？
• RQ4 エッジおよびクラウドレンダリングは、低性能なモバイルデバイスにおけるボリュメトリックビデオの実現可能性をどのように向上させるか？
• RQ5 ユーザー行動モデリングおよびインタラクティブコンテンツ統合に関する現在のシステムにおける主なギャップは何か？

主な発見

• Nebula システムは、DASH ベースのレイヤー化符号化と、予測されたビューポートに基づくエッジ側でのサブフレームレンダリングを用いることで、効率的なモバイルボリュメトリックストリーミングを実現している。
• GROOT システムは、ルートから最大深度までオクトリーのリーフノードを独立して符号化することで、デコード遅延と計算負荷を低減し、選択的デコードを可能にしている。
• ビューポートに応じた技術、例えば視錐カリングや深度ベースのサンプリングは、処理対象の点数を顕著に削減し、レンダリングパフォーマンスを向上させる。
• 段階的ストリーミングとタイリング戦略—360°ビデオにインspired—はボリュメトリックビデオにおいても有望であるが、より高度なユーザーの動き予測モデルの強化が求められる。
• エッジレンダリングはクライアント側の計算負担を低減し、処理能力に制限のあるモバイルデバイスでもリアルタイムの6DoFレンダリングを可能にする。
• 現在のシステムは、ユーザーのナビゲーションパターンに関する包括的なデータセットを欠いており、高度な予測最適化技術の開発を制限している。