[論文レビュー] From Capture to Display: A Survey on Volumetric Video

Yili Jin, Kaiyuan Hu+3 more|arXiv (Cornell University)|Sep 11, 2023

Image and Video Quality Assessment被引用数 8

ひとこと要約

総合的なボリューメトリックビデオシステムの調査。システムアーキテクチャ、表現、オープンデータセット、品質評価、エンドツーエンドパイプライン、アプリケーション、および研究機会を網羅する。

ABSTRACT

Volumetric video, which offers immersive viewing experiences, is gaining increasing prominence. With its six degrees of freedom, it provides viewers with greater immersion and interactivity compared to traditional videos. Despite their potential, volumetric video services pose significant challenges. This survey conducts a comprehensive review of the existing literature on volumetric video. We firstly provide a general framework of volumetric video services, followed by a discussion on prerequisites for volumetric video, encompassing representations, open datasets, and quality assessment metrics. Then we delve into the current methodologies for each stage of the volumetric video service pipeline, detailing capturing, compression, transmission, rendering, and display techniques. Lastly, we explore various applications enabled by this pioneering technology and we present an array of research challenges and opportunities in the domain of volumetric video services. This survey aspires to provide a holistic understanding of this burgeoning field and shed light on potential future research trajectories, aiming to bring the vision of volumetric video to fruition.

研究の動機と目的

• ボリューメトリックビデオサービスの一般的なフレームワークを定義し、コアコンポーネントとそれらの相互作用を特定する。
• 3D表現、データセット、品質評価手法を含む必須前提条件を要約する。
• エンドツーエンドのパイプライン段階（キャプチャ、圧縮、伝送、レンダリング、表示）をレビューし、各段階の現在の手法を要約する。
• ボリューメトリックビデオによって実現されるアプリケーションを探求し、主要な研究課題と機会を概説する。
• 公開データセットと品質評価の考慮事項を強調し、再現可能な研究を導く。

提案手法

• ボリューメトリックビデオサービスの一般的なシステムフレームワークを提案し、各コンポーネントの入力/出力と相互作用を詳述する。
• 3D表現（明示的および暗黙的）をカタログ化し、それぞれのサイズ、品質、計算、編集可能性のトレードオフを比較する。
• フォーマット、内容、解像度別にオープンボリューメトリックデータセットをレビューし、データ入手性を示す。
• エンドツーエンドパイプライン（キャプチャ、圧縮、伝送、レンダリング、表示）を概説し、一般的な技術（タイル化、適応ストリーミング、ビューポート予測）を論じる。
• 品質評価について、主観的対客観的指標を区別し、モデルベースおよび画像ベースのQAアプローチの代表例を概説する。
• 将来の研究を導くための前提条件、パイプライン段階、アプリケーション、機会の体系的な分類を提供する。

実験結果

リサーチクエスチョン

• RQ1 ボリューメトリックビデオサービスの一般的なフレームワークとアーキテクチャは何で、コンポーネントはどのように相互作用するのか。
• RQ2 ボリューメトリックビデオに使用される3D表現にはどんなものがあり、それらのサイズ、品質、計算、編集可能性のトレードオフは何か。
• RQ3 ボリューメトリックビデオのオープンデータセットは何があり、それらの特徴は何か。
• RQ4 ボリューメトリックビデオパイプラインの主要段階（キャプチャ、圧縮、伝送、レンダリング、表示）は何で、各段階の現在の手法は何か。
• RQ5 ボリューメトリックビデオにはどんなアプリケーションと研究機会があり、どんな課題が残っているか。

主な発見

• ボリューメトリックビデオ表現は、点群、メッシュ、ボクセル、 plenoptic点群、暗黙的表面、NeRFsなど多様であり、それぞれに固有の長所と限界がある。
• オープンなボリューメトリックデータセットは入手可能だが、サイズや範囲が小さく、対象物やシーンが限られていることが多い。
• ボリューメトリックビデオの品質評価には主観的および客観的アプローチが含まれ、現時点で標準化されたガイドラインは確立されていない。
• エンドツーエンドのパイプラインは、キャプチャ（較正されたカメラアレイまたはモノクローム設定）、タイル化を伴うエンコード、ストリーミング（ライブまたはVOD）、ビューポート駆動デコード、表示用の2Dレンダリングで構成される。
• ビューポート予測とタイル化戦略は、ボリューメトリックビデオシステムの効率的なストリーミングとレンダリングの中心です。
• 調査は、表現、データセット、QA指標、圧縮、伝送、レンダリング、実世界のデプロイメントにまたがる複数の研究機会と課題を特定する。