[论文解读] Learning Local Displacements for Point Cloud Completion

Yida Wang, David Joseph Tan+2 more|arXiv (Cornell University)|Mar 30, 2022

3D Shape Modeling and Analysis被引用 6

一句话总结

该论文提出了一种新颖的点云补全框架，结合编码器-解码器与Transformer架构中的三个自定义层——局部描述符匹配、邻域池化和特征感知上采样。该方法在物体和场景补全基准测试中均达到最先进性能，在CompleteScanNet数据集上取得3.04的Chamfer距离，在NYU数据集上取得4.38的Chamfer距离，展现出卓越的重建质量与细微结构的保留能力。

ABSTRACT

We propose a novel approach aimed at object and semantic scene completion from a partial scan represented as a 3D point cloud. Our architecture relies on three novel layers that are used successively within an encoder-decoder structure and specifically developed for the task at hand. The first one carries out feature extraction by matching the point features to a set of pre-trained local descriptors. Then, to avoid losing individual descriptors as part of standard operations such as max-pooling, we propose an alternative neighbor-pooling operation that relies on adopting the feature vectors with the highest activations. Finally, up-sampling in the decoder modifies our feature extraction in order to increase the output dimension. While this model is already able to achieve competitive results with the state of the art, we further propose a way to increase the versatility of our approach to process point clouds. To this aim, we introduce a second model that assembles our layers within a transformer architecture. We evaluate both architectures on object and indoor scene completion tasks, achieving state-of-the-art performance.

研究动机与目标

• 解决从部分点云中进行3D形状补全的挑战，尤其关注在高几何保真度下恢复被遮挡区域。
• 克服现有点云处理方法的局限性，如池化过程中个体特征描述符的丢失以及非结构化特征图的问题。
• 通过学习到的局部位移与编码器-解码器及Transformer架构中自适应特征聚合，提升补全质量。
• 通过统一且可学习的框架，实现对物体与语义场景补全任务的多功能、高分辨率重建。

提出的方法

• 引入一种特征提取层，将点特征与一组预训练的局部描述符进行匹配，以增强几何表征能力。
• 提出邻域池化——一种新颖的下采样操作，通过选择激活值最高的特征向量来保留个体特征向量，避免最大池化带来的描述符损失。
• 在解码器中设计一种特征感知上采样机制，提升输出维度，同时保持空间与语义的一致性。
• 将所提出的层集成到受PoinTr启发的Transformer架构中，实现长距离依赖建模与特征优化。
• 采用渐进式损失函数，从可观察区域到遮挡区域逐步重建目标，提升结构准确性。
• 通过混合匹配消融研究，验证骨干网络与端到端细化流程中各组件的模块化与有效性。

实验结果

研究问题

• RQ1 局部特征匹配与自适应池化在超越标准最大池化与全局特征聚合的基础上，如何提升点云补全性能？
• RQ2 所提出的层在部分点云补全中，对重建质量与细粒度细节恢复的提升程度如何？
• RQ3 将这些层集成到Transformer架构中，是否能进一步提升在物体与场景补全任务中的性能？
• RQ4 优先关注遮挡区域的渐进式损失函数相较于标准L2损失，对最终重建质量的影响如何？

主要发现

• 所提方法在CompleteScanNet数据集上取得3.04的Chamfer距离，优于先前最先进方法如PoinTr（5.08）与MSN（7.28）。
• 在NYU数据集上，该方法取得4.38的Chamfer距离，显著优于GRNet（5.80）、VRCNet（5.45）与PoinTr（5.92）。
• 消融研究证实，邻域池化层减少了描述符损失，改善了特征表征，从而提升了重建质量。
• 结合所提组件的Transformer架构在所有基准测试中均取得最佳结果，证明了模块化设计的有效性。
• 当移除语义损失函数的自适应加权（通过γ实现）时，IoU下降7.5–9%，证明其在平衡语义与几何精度方面的重要性。
• 混合匹配消融实验表明，无论搭配何种端到端细化策略，所提骨干网络始终优于其他骨干网络，验证了其泛化能力与模块化优势。