[论文解读] Inter-Frame Compression for Dynamic Point Cloud Geometry Coding

Anique Akhtar, Zhu Li+1 more|arXiv (Cornell University)|Jul 25, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

该论文提出了一种基于深度学习的动态点云几何帧间压缩框架，利用分层多尺度稀疏卷积和一种新颖的‘目标坐标上的卷积’模块，从先前帧预测当前帧的特征。与G-PCC相比，其BD-Rate降低超过91%，与V-PCC的P帧模式相比降低52%，在VR和沉浸式远程呈现应用的有损几何压缩方面树立了新的SOTA水平。

ABSTRACT

Efficient point cloud compression is essential for applications like virtual and mixed reality, autonomous driving, and cultural heritage. This paper proposes a deep learning-based inter-frame encoding scheme for dynamic point cloud geometry compression. We propose a lossy geometry compression scheme that predicts the latent representation of the current frame using the previous frame by employing a novel feature space inter-prediction network. The proposed network utilizes sparse convolutions with hierarchical multiscale 3D feature learning to encode the current frame using the previous frame. The proposed method introduces a novel predictor network for motion compensation in the feature domain to map the latent representation of the previous frame to the coordinates of the current frame to predict the current frame's feature embedding. The framework transmits the residual of the predicted features and the actual features by compressing them using a learned probabilistic factorized entropy model. At the receiver, the decoder hierarchically reconstructs the current frame by progressively rescaling the feature embedding. The proposed framework is compared to the state-of-the-art Video-based Point Cloud Compression (V-PCC) and Geometry-based Point Cloud Compression (G-PCC) schemes standardized by the Moving Picture Experts Group (MPEG). The proposed method achieves more than 88% BD-Rate (Bjontegaard Delta Rate) reduction against G-PCCv20 Octree, more than 56% BD-Rate savings against G-PCCv20 Trisoup, more than 62% BD-Rate reduction against V-PCC intra-frame encoding mode, and more than 52% BD-Rate savings against V-PCC P-frame-based inter-frame encoding mode using HEVC. These significant performance gains are cross-checked and verified in the MPEG working group.

研究动机与目标

• 解决现有基于深度学习的动态场景点云几何压缩中缺乏帧间预测的问题。
• 利用密集动态点云中连续帧之间的时序相关性，提升压缩效率。
• 开发一种可扩展、低复杂度的框架，优于MPEG标准化的V-PCC和G-PCC，以及最先进的深度学习方法。
• 通过降低码率同时保持高重建质量，实现VR、MR和远程呈现应用中的实际部署。

提出的方法

• 一种新颖的预测网络采用具有分层多尺度特征学习的稀疏3D卷积，基于前一帧的潜在表示来编码当前帧。
• 该方法采用‘目标坐标上的卷积’，将前一帧的特征映射到当前帧的下采样坐标上，实现准确的特征嵌入预测。
• 通过学习的因子化解析熵模型对预测特征与实际特征之间的残差进行压缩，实现高效传输。
• 解码器通过多分辨率重建路径逐步上采样特征嵌入，实现点云的分层重建。
• 该框架通过kd-tree分区实现分块编码，支持大规模点云的可扩展处理。
• 尽管采用帧间处理，仍通过GPU加速和参数量约200万的紧凑网络保持了运行时效率。

实验结果

研究问题

• RQ1 与帧内编码和标准帧间编码器相比，基于深度学习的帧间预测方案能否显著提升动态点云几何的压缩效率？
• RQ2 所提出的‘目标坐标上的卷积’模块在稀疏、非结构化的点云中，将特征表示从一帧准确传递到下一帧的效果如何？
• RQ3 在多种动态点云序列中，该方法相较于MPEG标准化的V-PCC和G-PCC，在BD-Rate和重建质量方面有多大的性能提升？
• RQ4 分块编码对压缩性能有何影响？在实际应用中，文件碎片化的开销是否显著？

主要发现

• 所提方法在所有测试序列中，与MPEG G-PCC（八叉树）相比，BD-Rate降低超过91%。
• 使用基于trisoup的表面近似方法时，与G-PCC相比，BD-Rate降低超过84%。
• 与最先进的基于深度学习的帧内方法PCGCv2相比，BD-Rate提升超过34%。
• 与V-PCC的帧内编码模式相比，BD-Rate增益超过62%。
• 与V-PCC基于P帧的帧间模式（使用HEVC）相比，BD-Rate提升超过52%。
• 采用最多8个块的分块编码仅导致PSNR轻微下降（从74.56降至74.35）和码率适度增加，表明分区带来的性能损失极小。