[论文解读] A Comprehensive Study and Comparison of Core Technologies for MPEG 3D Point Cloud Compression

Hao Liu, Hui Yuan+3 more|arXiv (Cornell University)|Dec 20, 2019

Advanced Vision and Imaging参考文献 34被引用 4

一句话总结

本文对MPEG 3D点云压缩（PCC）标准中的核心技术进行了全面比较，评估了TMC13（G-PCC）和TMC2（V-PCC）编码器在率失真性能、复杂度和鲁棒性方面的表现。TMC2在压缩效率方面表现最佳，尤其在有损几何和有损颜色压缩方面；而TMC13在低计算成本下对稀疏和噪声点云的处理表现更优。

ABSTRACT

Point cloud based 3D visual representation is becoming popular due to its ability to exhibit the real world in a more comprehensive and immersive way. However, under a limited network bandwidth, it is very challenging to communicate this kind of media due to its huge data volume. Therefore, the MPEG have launched the standardization for point cloud compression (PCC), and proposed three model categories, i.e., TMC1, TMC2, and TMC3. Because the 3D geometry compression methods of TMC1 and TMC3 are similar, TMC1 and TMC3 are further merged into a new platform namely TMC13. In this paper, we first introduce some basic technologies that are usually used in 3D point cloud compression, then review the encoder architectures of these test models in detail, and finally analyze their rate distortion performance as well as complexity quantitatively for different cases (i.e., lossless geometry and lossless color, lossless geometry and lossy color, lossy geometry and lossy color) by using 16 benchmark 3D point clouds that are recommended by MPEG. Experimental results demonstrate that the coding efficiency of TMC2 is the best on average (especially for lossy geometry and lossy color compression) for dense point clouds while TMC13 achieves the optimal coding performance for sparse and noisy point clouds with lower time complexity.

研究动机与目标

• 评估并比较MPEG核心3D点云压缩技术的率失真性能、复杂度和鲁棒性。
• 详细分析TMC13（G-PCC）和TMC2（V-PCC）编码器架构在静态与动态点云压缩中的表现。
• 针对不同点云特性（密集、稀疏、噪声）和压缩设置（无损/有损几何与颜色），识别最优配置。
• 为未来3D点云压缩领域的研究与标准化提供定量基准。

提出的方法

• 采用三种编码器变体对TMC13进行评估：RAHT、LoD（无/有细节层次），基于几何与属性预测。
• 实现并基准测试TMC2，采用基于向量的运动补偿和预测编码技术用于动态点云压缩。
• 应用标准指标：率失真（R-D）性能、时间复杂度（编码时间）及主观质量评估。
• 使用16个标准化的MPEG基准点云，涵盖不同密度与噪声水平，以确保可复现性。
• 在四种压缩设置下对比编码时间与R-D性能：无损几何/无损颜色、无损几何/有损颜色、有损几何/有损颜色、有损几何/无损颜色。
• 引入三角面片近似与直接几何量化方法，以评估复杂度与性能之间的权衡。

实验结果

研究问题

• RQ1 在不同压缩设置（无损/有损几何与颜色）下，TMC13与TMC2在率失真效率方面表现如何？
• RQ2 在TMC13中，哪种编码器架构（RAHT、无LT的LoD、有LT的LoD）在低比特率下实现最佳R-D性能，尤其在低比特率下？
• RQ3 点云密度与噪声对TMC13和TMC2的性能与复杂度有何影响？
• RQ4 TMC2的时间复杂度与TMC13各组件相比如何？是否可优化以适用于实时应用？
• RQ5 点对点质量度量在评估重建点云的主观视觉质量方面相关性如何？

主要发现

• TMC2在密集点云中实现了最佳平均率失真性能，尤其在有损几何与有损颜色压缩方面表现突出。
• 对于稀疏和噪声点云，采用LT的LoD编码器的TMC13优于TMC2，后者因投影二维平面上相关性断裂而表现受限。
• TMC13中的RAHT编码器时间复杂度最低（第3种情况平均为778.98秒），而TMC2的复杂度最高（平均为1593.47秒），表明其计算成本较高。
• 在低比特率下，带LT的LoD编码器在密集点云中提供了最佳R-D性能，但在稀疏数据中效果较差。
• TMC13中的三角面片近似方法比直接几何量化显著更耗时，导致整体复杂度更高。
• 点对点质量度量被发现对主观视觉质量评估效率低下，提示需要更优的感知度量标准。