[论文解读] From Capture to Display: A Survey on Volumetric Video
对体积视频系统的全面综述,覆盖系统架构、表示、开放数据集、质量评估、端到端流程、应用与研究机会。
Volumetric video, which offers immersive viewing experiences, is gaining increasing prominence. With its six degrees of freedom, it provides viewers with greater immersion and interactivity compared to traditional videos. Despite their potential, volumetric video services pose significant challenges. This survey conducts a comprehensive review of the existing literature on volumetric video. We firstly provide a general framework of volumetric video services, followed by a discussion on prerequisites for volumetric video, encompassing representations, open datasets, and quality assessment metrics. Then we delve into the current methodologies for each stage of the volumetric video service pipeline, detailing capturing, compression, transmission, rendering, and display techniques. Lastly, we explore various applications enabled by this pioneering technology and we present an array of research challenges and opportunities in the domain of volumetric video services. This survey aspires to provide a holistic understanding of this burgeoning field and shed light on potential future research trajectories, aiming to bring the vision of volumetric video to fruition.
研究动机与目标
- 为体积视频服务定义一个通用框架,识别核心组件及其交互。
- 总结包括三维表示、数据集和质量评估方法在内的基本前提。
- 回顾端到端流水线阶段(捕获、压缩、传输、渲染、显示),并在每个阶段总结现有方法。
- 探索体积视频所带来的应用并概述关键研究挑战与机会。
- 突出开放数据集和质量评估方面的考量,以指导可重复的研究。
提出的方法
- 提出一个体积视频服务的一般系统框架及其细节,对于每个组件,其输入/输出及相互作用。
- 编目三维表示(显式与隐式)并比较它们在大小、质量、计算与可编辑性方面的权衡。
- 通过格式、内容和分辨率对开放体积数据集进行评述,以说明数据可用性。
- 概述端到端流水线(捕获、压缩、传输、渲染、显示)并讨论典型技术(拼块 tiling、自适应流传、视场预测等)。
- 讨论质量评估,区分主观与客观度量,并综述代表性的基于模型的与基于图像的QA方法。
- 提供有组织的前提条件、管道阶段、应用和机会的分类体系,以指导未来工作。
实验结果
研究问题
- RQ1体积视频服务的通用框架与架构是什么?组件如何相互作用?
- RQ2用于体积视频的三维表示有哪些?它们在大小、质量、计算与可编辑性方面的权衡是什么?
- RQ3现存的体积视频开放数据集有哪些?它们的特征是什么?
- RQ4体积视频管线的主要阶段(捕获、压缩、传输、渲染、显示)及各阶段的当前方法是什么?
- RQ5在体积视频中存在哪些应用与研究机会?仍存在哪些挑战?
主要发现
- 体积视频表示方式多样,包括点云、网格、体素、全场点云、隐式表面与 NeRFs,每种都有不同的优点和局限性。
- 开放的体积数据集可用但往往规模较小或范围有限,常聚焦于有限的对象或场景。
- 体积视频的质量评估包含主观与客观方法,领域尚未建立统一的标准指南。
- 端到端流水线包括捕获(经过标定的相机阵列或单目设置)、带拼块的编码、流传(直播或点播)、视场驱动解码以及用于显示的二维渲染。
- 视场预测与拼块策略是体积视频系统中实现高效流媒体与渲染的核心。
- 该综述在表示、数据集、QA度量、压缩、传输、渲染及实际部署等方面指出了多种研究机会与挑战。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。