[论文解读] Deep AutoEncoder-based Lossy Geometry Compression for Point Clouds

Wei Yan, Yiting Shao+4 more|arXiv (Cornell University)|Apr 18, 2019

3D Shape Modeling and Analysis参考文献 29被引用 59

一句话总结

它提出了一种用于点云有损几何压缩的深度自动编码器架构，直接以点云为输入，并在与 MPEG TMC13 的比较中实现更优的率-失真性能（平均 BD-rate 提升 73.15%）

ABSTRACT

Point cloud is a fundamental 3D representation which is widely used in real world applications such as autonomous driving. As a newly-developed media format which is characterized by complexity and irregularity, point cloud creates a need for compression algorithms which are more flexible than existing codecs. Recently, autoencoders(AEs) have shown their effectiveness in many visual analysis tasks as well as image compression, which inspires us to employ it in point cloud compression. In this paper, we propose a general autoencoder-based architecture for lossy geometry point cloud compression. To the best of our knowledge, it is the first autoencoder-based geometry compression codec that directly takes point clouds as input rather than voxel grids or collections of images. Compared with handcrafted codecs, this approach adapts much more quickly to previously unseen media contents and media formats, meanwhile achieving competitive performance. Our architecture consists of a pointnet-based encoder, a uniform quantizer, an entropy estimation block and a nonlinear synthesis transformation module. In lossy geometry compression of point cloud, results show that the proposed method outperforms the test model for categories 1 and 3 (TMC13) published by MPEG-3DG group on the 125th meeting, and on average a 73.15\% BD-rate gain is achieved.

研究动机与目标

• 为不规则的三维点云提供灵活、数据驱动的几何压缩的动机与实现。
• 开发一个端到端的自动编码器框架，直接处理原始点云，而无需体素化或类似图像的表示。
• 结合一个可学习的熵模型和一个可微分量化方案来优化率–失真。
• 在常见物体类别上展示与 MPEG PCC 基线相比具有竞争力的压缩性能。

提出的方法

• 使用基于 PointNet 的编码器获得一个置换不变的潜在表示。
• 应用一个统一量化器（在训练期间使用直通梯度近似或均匀噪声近似）以生成离散潜在码。
• 加入一个熵估计（熵瓶颈）模块来对潜在码的先验进行建模，以估算码率。
• 优化将 Chamfer 距离失真与估计比特率相结合的率–失真目标。
• 使用一个全连接解码器从潜在码重构三维点云。
• 在 ShapeNet 上进行训练与评估，以在多个对象类别上对比 MPEG TMC13。

实验结果

研究问题

• RQ1 端到端自编码器是否能够直接从点云（不经过体素化）学习有效的有损几何表征？
• RQ2 在使用可学习的熵模型和可微分量化的情况下，相较于 MPEG PCC 的 TMC13，能够获得怎样的率–失真提升？
• RQ3 将熵瓶颈引入对点云几何的比特率和重建质量有何影响？
• RQ4 在不同对象类别（如椅子、飞机、桌子、汽车）在不同比特率下，该方法的鲁棒性如何？

主要发现

• 提出的基于自编码器的几何编解码在椅子、飞机、桌子和汽车等类别的所有测试比特率上均优于 TMC13。
• 平均而言，该方法在 TMC13 上实现了 73.15% 的 BD-rate 增益。
• 消融研究显示熵瓶颈模块相对于不进行熵估计的基线带来 19.3% 的 BD-rate 提升。
• 在相似的 PSNR 下，重建的点云更密集且每点比特数更低，与 TMC13 相比表现更好。