[论文解读] Pointfilter: Point Cloud Filtering via Encoder-Decoder Modeling

Dongbo Zhang, Xuequan Lu+2 more|arXiv (Cornell University)|Feb 14, 2020

3D Shape Modeling and Analysis参考文献 24被引用 10

一句话总结

Pointfilter 提出了一种基于深度学习的点云滤波方法，采用编码器-解码器架构，在无需手动调节参数的情况下自动去除噪声，同时保留锐利的几何特征。通过从局部点邻域学习位移向量，该方法在视觉质量和定量指标上均达到最先进水平。

ABSTRACT

Point cloud filtering is a fundamental problem in geometry modeling and processing. Despite of significant advancement in recent years, the existing methods still suffer from two issues: 1) they are either designed without preserving sharp features or less robust in feature preservation; and 2) they usually have many parameters and require tedious parameter tuning. In this paper, we propose a novel deep learning approach that automatically and robustly filters point clouds by removing noise and preserving their sharp features. Our point-wise learning architecture consists of an encoder and a decoder. The encoder directly takes points (a point and its neighbors) as input, and learns a latent representation vector which goes through the decoder to relate the ground-truth position with a displacement vector. The trained neural network can automatically generate a set of clean points from a noisy input. Extensive experiments show that our approach outperforms the state-of-the-art deep learning techniques in terms of both visual quality and quantitative error metrics. The source code and dataset can be found at https://github.com/dongbo-BUAA-VR/Pointfilter.

研究动机与目标

• 解决现有点云滤波方法在保留锐利特征方面存在局限或需要大量参数调优的问题。
• 开发一种端到端的深度学习框架，自动学习去噪点云的同时保持几何保真度。
• 设计一种基于点的特征学习架构，利用局部邻域信息实现鲁棒的特征保留。
• 通过训练学习最优滤波策略，降低对人工超参数调整的依赖。
• 在视觉质量与定量误差指标方面，相比现有最先进技术实现更优越的性能。

提出的方法

• 该方法采用编码器-解码器神经网络架构，其中编码器处理一个点及其邻近点，生成潜在表征。
• 将潜在向量传递至解码器，以预测一个位移向量，将输入点的位置校正至其真实位置。
• 通过最小化预测点位置与真实点位置之间差异的损失函数，以端到端方式训练网络。
• 输入特征由局部点邻域构建，使模型能够捕捉局部几何结构。
• 该架构设计轻量化且鲁棒，避免过拟合，并减少对人工参数调优的需求。
• 模型在带有真实干净版本的合成噪声点云上进行训练，使其能够泛化至真实世界中的噪声模式。

实验结果

研究问题

• RQ1 基于深度学习的编码器-解码器模型能否有效去除点云中的噪声，同时保留锐利的几何特征？
• RQ2 与现有最先进滤波技术相比，该方法在定量误差指标和视觉质量方面表现如何？
• RQ3 该模型在无需重新训练或手动调整参数的情况下，对不同类型和强度的噪声具有多大程度的泛化能力？
• RQ4 与全局或非局部方法相比，使用局部邻域编码是否能显著提升特征保留效果？
• RQ5 该模型能否在极少超参数调优的情况下实现高性能，从而具备实际应用的可行性？

主要发现

• 所提出的 Pointfilter 方法在基准数据集上，于视觉质量与定量误差指标方面均优于现有最先进深度学习技术。
• 该模型在多种噪声类型与强度下表现出稳健性能，即使在高度损坏的输入中也能保持锐利特征。
• 该架构在极少依赖人工参数调优的情况下实现高精度，显著提升了实际可用性。
• 编码器-解码器框架能有效学习位移向量，从噪声输入中恢复出干净的几何结构。
• 大量消融实验表明，局部邻域编码显著提升了特征保留与去噪精度。
• 该方法在真实世界点云上表现出良好的泛化能力，已在合成与真实数据集上得到验证。