[论文解读] IT/IST/IPLeiria Response to the Call for Proposals on JPEG Pleno Point Cloud Coding

André F. R. Guarda, Nuno M. M. Rodrigues+4 more|arXiv (Cornell University)|Aug 4, 2022

3D Surveying and Cultural Heritage被引用 11

一句话总结

本文提出了一种基于深度学习的点云几何编解码器以及一种联合几何-颜色编解码器，提交至JPEG Pleno点云编码征询建议。几何编解码器在测试集上的压缩效率优于MPEG G-PCC，且与V-PCC Intra性能相当，而联合编解码器则受到质量饱和的限制，导致性能提升受限。

ABSTRACT

This document describes a deep learning-based point cloud geometry codec and a deep learning-based point cloud joint geometry and colour codec, submitted to the Call for Proposals on JPEG Pleno Point Cloud Coding issued in January 2022. The proposed codecs are based on recent developments in deep learning-based PC geometry coding and offer some of the key functionalities targeted by the Call for Proposals. The proposed geometry codec offers a compression efficiency that outperforms the MPEG G-PCC standard and outperforms or is competitive with the V-PCC Intra standard for the JPEG Call for Proposals test set; however, the same does not happen for the joint geometry and colour codec due to a quality saturation effect that needs to be overcome.

研究动机与目标

• 为新兴3D媒体标准中的高效点云压缩提供解决方案。
• 开发一种基于深度学习的几何编解码器，以超越MPEG G-PCC等现有标准的性能。
• 探索基于深度学习的联合几何与颜色编码，以提升压缩效率。
• 针对JPEG Pleno点云编码征询建议，提交具备竞争力的、最先进的解决方案。
• 识别并解决联合编码中的局限性，如质量饱和问题。

提出的方法

• 几何编解码器采用深度神经网络实现可学习的点云表示，用于预测和压缩几何坐标。
• 采用分层特征学习框架，以高效建模点云的局部与全局结构。
• 联合几何与颜色编解码器通过共享网络架构整合空间与语义特征，实现几何与颜色编码的联合优化。
• 应用可微量化与熵模型，实现具有高率失真效率的有损压缩。
• 在JPEG Pleno测试集上，通过L2损失与感知重建损失的组合，端到端训练编解码器。
• 该框架支持可伸缩编码，并可配置多种比特率，适用于实际部署。

实验结果

研究问题

• RQ1 基于深度学习的几何编解码器能否在点云压缩效率方面超越MPEG G-PCC等成熟标准？
• RQ2 在率失真权衡方面，联合几何与颜色编解码器的性能与独立几何编解码器相比如何？
• RQ3 当前基于深度学习的联合编码方法存在哪些局限性，特别是质量饱和问题？
• RQ4 端到端学习的编解码器在多大程度上可实现可扩展性，并满足标准化要求？
• RQ5 所提方法如何处理多样化的点云内容及不同的几何复杂度？

主要发现

• 所提出的几何编解码器在JPEG Pleno测试集上的压缩效率优于MPEG G-PCC。
• 在率失真性能方面，几何编解码器与V-PCC Intra标准相比表现相当或更优。
• 联合几何与颜色编解码器表现出质量饱和效应，尽管压缩效率很高，但性能提升受限。
• 在率失真效率方面，联合编解码器的性能未超越仅几何编解码器，表明联合优化存在权衡。
• 基于深度学习的方法在实现可扩展、端到端点云压缩并兼容标准化方面展现出强大潜力。
• 结果凸显了改进联合优化策略的必要性，以克服联合几何-颜色编码中的质量饱和问题。