[论文解读] Dynamic Polygon Clouds: Representation and Compression for VR/AR

Philip A. Chou, Eduardo Pavéz+2 more|arXiv (Cornell University)|Oct 3, 2016

Computer Graphics and Visualization Techniques参考文献 37被引用 3

一句话总结

本文提出动态三角形云——一种结合点云鲁棒性与网格压缩效率的混合三维表示方法，适用于虚拟现实/增强现实应用。通过利用空间正交变换、运动补偿和熵编码，其压缩性能比当前最先进的动态点云编码器提升33%，与基于八叉树的方法相比，几何比特率最高降低45倍。

ABSTRACT

We introduce the {\em polygon cloud}, also known as a polygon set or {\em soup}, as a compressible representation of 3D geometry (including its attributes, such as color texture) intermediate between polygonal meshes and point clouds. Dynamic or time-varying polygon clouds, like dynamic polygonal meshes and dynamic point clouds, can take advantage of temporal redundancy for compression, if certain challenges are addressed. In this paper, we propose methods for compressing both static and dynamic polygon clouds, specifically triangle clouds. We compare triangle clouds to both triangle meshes and point clouds in terms of compression, for live captured dynamic colored geometry. We find that triangle clouds can be compressed nearly as well as triangle meshes, while being far more robust to noise and other structures typically found in live captures, which violate the assumption of a smooth surface manifold, such as lines, points, and ragged boundaries. We also find that triangle clouds can be used to compress point clouds with significantly better performance than previously demonstrated point cloud compression methods. In particular, for intra-frame coding of geometry, our method improves upon octree-based intra-frame coding by a factor of 5-10 in bit rate. Inter-frame coding improves this by another factor of 2-5. Overall, our dynamic triangle cloud compression improves over the previous state-of-the-art in dynamic point cloud compression by 33\% or more.

研究动机与目标

• 解决传统多边形网格和点云在表示具有噪声、非流形特性的实时捕获三维几何结构（适用于虚拟现实/增强现实）时的局限性。
• 为动态三维内容开发一种鲁棒的有损压缩框架，能够处理现实世界中的不完美特征，如线条、点和不规则边界。
• 通过利用空间和时间冗余，提升动态三维场景中几何与颜色的压缩效率。
• 证明多边形云在压缩性能上可超越网格和点云，适用于实时捕获的动态彩色几何结构。
• 通过先进的变换与预测技术，显著降低比特率，建立动态点云压缩的新基准。

提出的方法

• 将三维几何表示为三角形云——即无流形约束的无序三角形集合，从而增强对噪声和非表面特征的鲁棒性。
• 在参考帧（I帧）中对顶点位置和颜色向量应用空间正交变换，以在压缩前解相关空间数据。
• 对P帧采用运动补偿预测：在时间域跟踪三角形顶点，并对运动残差进行编码，以利用时间冗余。
• 对参考帧中的三角形进行体素化处理，以确保颜色纹理的均匀采样，并实现跨帧的一致向量空间表示。
• 在变换和预测阶段后，对几何和颜色数据应用统一的标量量化和熵编码。
• 采用帧组（GOF）模型，包含帧内（I）帧和预测（P）帧，支持混合帧内/帧间编码，以实现最优比特率节省。

实验结果

研究问题

• RQ1 多边形云表示是否能在压缩具有现实世界缺陷的实时捕获动态三维几何结构方面，优于传统网格和点云？
• RQ2 在动态三角形云中，空间与时间冗余可被多大程度地利用以实现高效压缩？
• RQ3 所提出的压缩方法在比特率和质量方面与当前最先进的动态点云和网格压缩方法相比如何？
• RQ4 几何编码精度对编解码器流水线中颜色失真度量的影响是什么？
• RQ5 所提出的方法能否打破无损体素化几何编码的2.5 bpv经验法则？

主要发现

• 与以往基于八叉树的体素化点云帧内编码相比，该方法将帧内几何比特率降低了5–10倍，打破了2.5 bpv的经验法则。
• 帧间几何编码进一步将比特率降低2–5倍，与帧内编码相比，与基线八叉树方法相比最高可降低45倍。
• 在颜色编码方面，该方法在三个测试序列中的一个上实现了约30%的比特率提升或约2 dB的PSNR增益，增益程度取决于运动估计精度。
• 总体而言，动态三角形云压缩在比特率上相比先前最先进的动态点云压缩技术降低了33%或以上。
• 三角形云在压缩动态彩色几何结构方面，其效率几乎与网格相当，但对噪声和非流形结构的鲁棒性显著更强。
• 该方法表明，多边形云在泛化能力上兼具网格与点云的优点，可在不牺牲对现实捕获伪影鲁棒性的情况下实现高效率压缩。