[论文解读] Casual 6-DoF: free-viewpoint panorama using a handheld 360 camera

Rongsen Chen, Fang‐Lue Zhang+3 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种新颖的流水线，利用手持消费级相机随意拍摄的360°全景图像，实现实时6-DoF自由视角全景合成。通过从非结构化360°全景图中进行稀疏和密集深度估计，该方法能够在大规模室内外场景中实现高保真度、30fps的新型视角合成，其视觉质量和鲁棒性优于当前最先进方法。

ABSTRACT

Six degrees-of-freedom (6-DoF) video provides telepresence by enabling users to move around in the captured scene with a wide field of regard. Compared to methods requiring sophisticated camera setups, the image-based rendering method based on photogrammetry can work with images captured with any poses, which is more suitable for casual users. However, existing image-based rendering methods are based on perspective images. When used to reconstruct 6-DoF views, it often requires capturing hundreds of images, making data capture a tedious and time-consuming process. In contrast to traditional perspective images, 360° images capture the entire surrounding view in a single shot, thus, providing a faster capturing process for 6-DoF view reconstruction. This paper presents a novel method to provide 6-DoF experiences over a wide area using an unstructured collection of 360° panoramas captured by a conventional 360° camera. Our method consists of 360° data capturing, novel depth estimation to produce a high-quality spherical depth panorama, and high-fidelity free-viewpoint generation. We compared our method against state-of-the-art methods, using data captured in various environments. Our method shows better visual quality and robustness in the tested scenes.

研究动机与目标

• 仅使用随意拍摄的360°全景图像，实现在大规模场景中的6-DoF自由视角导航。
• 克服传统基于图像的渲染方法的局限性，后者需要数百张透视图像才能实现准确的6-DoF重建。
• 为使用消费级360°相机的6-DoF视角合成提供一种稳健的端到端流水线，降低普通用户的采集复杂度。
• 在不依赖专业设备或专用相机阵列的情况下，实现高视觉保真度和实时性能（30fps）的新型视角合成。
• 解决在非结构化360°拍摄中深度估计、拼接伪影和动态物体等挑战。

提出的方法

• 使用手持消费级360°相机拍摄非结构化的360°全景图像。
• 使用COLMAP进行离线稀疏几何重建，以估计相机位姿和稀疏点云。
• 基于多视角立体（MVS）原理，采用新型深度插值与优化方案，估计密集球面深度全景图。
• 应用球面感知的深度优化技术，提升精度并减少伪影，尤其是在图像边界附近。
• 利用深度引导的图像融合与多输入全景图投影，实现实时（30fps）新型全景视图合成。
• 采用球面渲染流水线，保留完整的360°视场角，并支持三维空间中的平移视差效应。

实验结果

研究问题

• RQ1 能否仅使用手持相机随意拍摄的360°全景图像，构建一个6-DoF自由视角全景系统？
• RQ2 如何在球面360°全景图上有效进行深度估计，以支持高质量的视角合成？
• RQ3 能否仅使用360°全景图实现实时30fps的新型视角合成，而无需专用相机硬件？
• RQ4 所提出方法在多样化的室内外环境中，与当前最先进6-DoF系统相比，在视觉质量和鲁棒性方面表现如何？
• RQ5 该方法在处理反光表面、动态物体和360°全景图拼接伪影方面存在哪些关键局限性？

主要发现

• 所提出方法仅使用手持相机拍摄的360°全景图像，即可实现30fps的实时新型视角合成。
• 在各种室内外场景（包括大规模环境）中，该方法在视觉质量和鲁棒性方面均优于当前最先进方法。
• 结合新型球面感知插值与优化方案，从360°全景图中进行深度估计是可行且有效的。
• 即使在纹理和光照复杂的场景中，系统仍表现出一致的性能，优于以往方法在某些情况下会失效的表现。
• 在处理反光和透明表面（如玻璃）方面仍存在局限，由于深度估计不一致，会出现鬼影伪影。
• 360°全景图中的拼接伪影会导致合成视图中出现鬼影，表明需要改进预处理或伪影消除技术。