[论文解读] Neural Point Cloud Rendering via Multi-Plane Projection

Peng Dai, Yinda Zhang+3 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Vision and Imaging参考文献 5被引用 8

一句话总结

该论文提出了一种神经点云渲染方法，通过将3D点特征投影到分层的相机视锥体体积中，以改善可见性估计并减少由噪声和稀疏性引起的伪影。通过在特征体积上使用3D卷积神经网络（3D CNN），并利用学习到的权重对多平面输出进行融合，该方法在图像质量和时间稳定性方面表现优越，尤其在物体边界附近以及面对稀疏或噪声点云时表现更佳。

ABSTRACT

We present a new deep point cloud rendering pipeline through multi-plane projections. The input to the network is the raw point cloud of a scene and the output are image or image sequences from a novel view or along a novel camera trajectory. Unlike previous approaches that directly project features from 3D points onto 2D image domain, we propose to project these features into a layered volume of camera frustum. In this way, the visibility of 3D points can be automatically learnt by the network, such that ghosting effects due to false visibility check as well as occlusions caused by noise interferences are both avoided successfully. Next, the 3D feature volume is fed into a 3D CNN to produce multiple layers of images w.r.t. the space division in the depth directions. The layered images are then blended based on learned weights to produce the final rendering results. Experiments show that our network produces more stable renderings compared to previous methods, especially near the object boundaries. Moreover, our pipeline is robust to noisy and relatively sparse point cloud for a variety of challenging scenes.

研究动机与目标

• 解决由深度噪声和可见性检查不准确引起的神经点云渲染中的鬼影和抖动伪影问题。
• 改善从3D点云进行视频渲染时的时间一致性，尤其是在相机轨迹上。
• 实现在相对稀疏和噪声点云上进行鲁棒渲染，而无需密集覆盖或复杂的几何重建。
• 通过将3D特征投影到分层3D体积中，而非直接投影到2D图像平面，以保持准确的可见性和特征表示。

提出的方法

• 该方法将3D点云特征投影到相机视锥体内的分层体积中，以保留跨深度层的可见性信息。
• 使用3D卷积神经网络（3D CNN）处理分层特征体积，以生成多个按深度排序的图像平面。
• 通过学习到的权重对多平面输出进行融合，以生成最终渲染图像，从而实现来自不同深度特征的自适应融合。
• 可见性在训练过程中隐式学习，避免依赖对深度噪声敏感的显式z缓冲检查。
• 该方法避免直接进行2D投影，从而降低对点云噪声的敏感性，并提高对稀疏输入的鲁棒性。
• 网络端到端训练，以优化图像序列的逼真渲染和时间一致性。

实验结果

研究问题

• RQ1 神经渲染流水线能否在噪声大且稀疏的3D点云上实现稳定且高质量的新视角合成？
• RQ2 如何改进点云渲染中的可见性估计，以减少鬼影和抖动伪影？
• RQ3 将特征投影到相机视锥体内的分层3D体积中，是否能比基于2D投影的方法带来更好的时间一致性？
• RQ4 当点云密度降低时，该方法在多大程度上仍能保持渲染质量？

主要发现

• 用户研究表明，该方法在80组对比中获得61票支持，其渲染结果优于NPG、Pix2Pix和直接渲染方法，表现出显著更优的时间一致性。
• 即使在严重遮挡或噪声较大的点云下，该方法仍能保持物体完整性，成功恢复了基线方法遗漏或损坏的物体。
• 定量评估显示，随着点云密度降低，该方法的PSNR和SSIM指标下降更缓慢，表明其对稀疏性的鲁棒性更强。
• 在物体边界附近，该方法产生的渲染更稳定，而以往方法常出现模糊或鬼影现象。
• 即使在相对稀疏的点云下，该方法仍保持有效，展示了在数据有限的真实场景中的实际应用价值。