[论文解读] Efficient LiDAR Point Cloud Geometry Compression Through Neighborhood Point Attention

Ruixiang Xue, Jianqiang Wang+1 more|arXiv (Cornell University)|Aug 26, 2022

3D Shape Modeling and Analysis被引用 7

一句话总结

该论文提出邻域点注意力（NPA）机制，通过使用k-最近邻（k-NN）和自注意力机制实现可学习、自适应的邻域聚合，替代固定感受野的稀疏卷积，以提升LiDAR点云几何压缩性能。NPAFormer模型在SemanticKITTI和Ford数据集上，有损压缩模式下BD-rate增益超过17%，无损模式下码率降低超过14%，同时解码时间相比最先进方法减少640倍。

ABSTRACT

Although convolutional representation of multiscale sparse tensor demonstrated its superior efficiency to accurately model the occupancy probability for the compression of geometry component of dense object point clouds, its capacity for representing sparse LiDAR point cloud geometry (PCG) was largely limited. This is because 1) fixed receptive field of the convolution cannot characterize extremely and unevenly distributed sparse LiDAR points very well; and 2) pretrained convolutions with fixed weights are insufficient to dynamically capture information conditioned on the input. This work therefore suggests the neighborhood point attention (NPA) to tackle them, where we first use k nearest neighbors (kNN) to construct adaptive local neighborhood; and then leverage the self-attention mechanism to dynamically aggregate information within this neighborhood. Such NPA is devised as a NPAFormer to best exploit cross-scale and same-scale correlations for geometric occupancy probability estimation. Compared with the anchor using standardized G-PCC, our method provides >17% BD-rate gains for lossy compression, and >14% bitrate reduction for lossless scenario using popular LiDAR point clouds in SemanticKITTI and Ford datasets. Compared with the state-of-the-art (SOTA) solution using attention optimized octree coding method, our approach requires much less decoding runtime with about 640 times speedup on average, while still presenting better compression efficiency.

研究动机与目标

• 解决固定感受野稀疏卷积在建模稀疏、分布不均的LiDAR点云时的局限性。
• 通过自适应邻域结构动态捕捉局部相关性，提升几何占据概率估计性能。
• 在保持或提升压缩效率的同时，降低解码复杂度，优于现有基于注意力机制和卷积的方法。
• 在稀疏LiDAR点云的有损与无损压缩任务中均实现卓越性能。

提出的方法

• 针对每个点使用k-最近邻（k-NN）构建自适应局部邻域，以克服稀疏卷积的固定感受野限制。
• 在每个k-NN邻域内应用自注意力机制，根据输入内容动态加权特征贡献。
• 提出NPAFormer，一种可学习模块，用于聚合邻域特征，并将其整合到多尺度稀疏张量框架中。
• 通过在x、y和z轴上进行双射下采样，生成多尺度表示，支持跨尺度与同尺度的相关性建模。
• 采用概率生成模块（PGM），堆叠NPAFormer和稀疏卷积层，以在各尺度上预测占据概率。
• 通过偏移量相加的分层上采样策略生成子八叉树，实现可扩展的多分辨率压缩。

实验结果

研究问题

• RQ1 通过k-NN和自注意力实现的自适应邻域聚合，是否能在压缩稀疏LiDAR点云方面超越固定感受野的稀疏卷积？
• RQ2 所提出的NPAFormer是否在压缩效率上优于现有SOTA方法（如OctAttention和SparsePCGC）？
• RQ3 该方法在保持高码率增益的同时，能在多大程度上降低解码复杂度？
• RQ4 邻居数（k）对压缩率和准确率的影响如何？
• RQ5 该方法是否能在包括稀疏（SemanticKITTI、Ford）和密集物体点云在内的多样化LiDAR数据集上实现良好泛化？

主要发现

• 与标准的G-PCC相比，该方法在SemanticKITTI和Ford数据集上的有损压缩中实现了超过17%的BD-rate增益。
• 在无损模式下，码率降低超过14%，性能相比SparsePCGC提升约10个百分点。
• 在密集物体点云上，无损模式下相比G-PCC实现50.18%的Bpp降低，有损模式下BD-rate增益超过17%。
• 解码时间相比OctAttention减少约640倍，本方法解码时间低于6秒，而OctAttention需约1小时。
• 将k从16增加到64可提升性能，但即使k=64也远小于OctAttention中使用的1024个邻居，证明了方法的高效率。
• 在所有测试数据集和比特深度（包括12位、10位和9位精度点云）上，该方法均优于G-PCC和SparsePCGC。