[论文解读] FVV Live: A real-time free-viewpoint video system with consumer electronics hardware

Pablo Carballeira, Carlos Carmona+9 more|arXiv (Cornell University)|May 14, 2021

Advanced Vision and Imaging参考文献 60被引用 38

一句话总结

FVV Live 是一种使用消费级立体相机和现成硬件的实时、低成本自由视角视频系统，通过深度校正、无损12位深度编码和分层视图合成，实现高质量的虚拟视图生成。其运动到光子延迟低于50毫秒，端到端延迟约为250毫秒，主观评估显示其显著优于最先进的DIBR方法。

ABSTRACT

© 2021 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works.

研究动机与目标

• 开发仅使用现成组件的低成本、实时自由视角视频系统。
• 解决自由视角视频系统中视频质量、实时性能与部署成本之间的权衡。
• 在活动广播和视频会议等应用中，实现无缝的虚拟导航与双边沉浸式通信。
• 在消费级深度估计和带宽受限的条件下，提升合成质量。

提出的方法

• 使用九台Stereolabs ZED立体相机以稀疏阵列方式排列，捕获多视图加深度（MVD）数据。
• 在捕获服务器中进行深度后处理，以校正立体校准不准确导致的误差。
• 在标准8位视频编码器上应用无损12位深度编码，以保留高精度深度数据。
• 实现自适应流媒体技术，根据虚拟视点位置动态启用或禁用相机流，以降低比特率。
• 在单台边缘服务器上采用分层视图合成方法，将前景和背景分离，以实现高效渲染。
• 在捕获服务器中实时执行前景/背景分割，以支持分层渲染并优化带宽使用。

实验结果

研究问题

• RQ1 能否仅使用消费级电子硬件构建高质量的自由视角视频系统，同时不牺牲实时性能？
• RQ2 如何在实时处理中有效校正低成本立体相机产生的深度估计误差？
• RQ3 在带宽受限条件下，何种压缩与传输策略能最大化合成质量并保留关键深度数据？
• RQ4 采用前景/背景分离处理的分层视图合成方法，在视觉质量与计算负载方面有何改善？
• RQ5 在主观质量评估中，FVV Live 相较于最先进的DIBR系统，其表现优越程度如何？

主要发现

• FVV Live 实现了平均运动到光子延迟低于50毫秒，端到端延迟约为250毫秒，支持实时、响应迅速的虚拟导航。
• 主观评估显示，在所有场景、轨迹和相机配置下，FVV Live 在超过80%的对比中优于VSRS（一种最先进的DIBR方法）。
• 系统在虚拟摄像机路径上保持一致的视觉质量，静止摄像机1/2与1/3轨迹之间的质量无统计学显著差异。
• FVV Live 的DMOS得分高于3.0（表示质量尚可），在较小的智能手机屏幕上可达4.0–4.5，表明在简单场景中与物理摄像机参考画面几乎无法区分。
• 无损12位深度编码显著提升了合成质量，自适应流媒体通过仅传输相关相机数据，有效降低了带宽需求。
• 结合实时前景/背景分割的分层合成方法，实现了高效渲染，并可将带宽重新分配给高保真度深度数据。