[论文解读] IterativePFN: True Iterative Point Cloud Filtering

Dasith de Silva Edirimuni, Xuequan Lu+4 more|arXiv (Cornell University)|Apr 4, 2023

3D Shape Modeling and Analysis被引用 7

一句话总结

IterativePFN 提出了一种新颖的深度学习框架用于点云去噪，通过在单个网络中堆叠迭代模块（IterationModules）来建模真实的迭代滤波过程，每个模块模拟一次滤波迭代。训练过程中采用自适应真实标签损失，以加速收敛至干净表面，其在合成数据集和真实世界数据集上的定量指标与视觉质量均优于当前最先进方法。

ABSTRACT

The quality of point clouds is often limited by noise introduced during their capture process. Consequently, a fundamental 3D vision task is the removal of noise, known as point cloud filtering or denoising. State-of-the-art learning based methods focus on training neural networks to infer filtered displacements and directly shift noisy points onto the underlying clean surfaces. In high noise conditions, they iterate the filtering process. However, this iterative filtering is only done at test time and is less effective at ensuring points converge quickly onto the clean surfaces. We propose IterativePFN (iterative point cloud filtering network), which consists of multiple IterationModules that model the true iterative filtering process internally, within a single network. We train our IterativePFN network using a novel loss function that utilizes an adaptive ground truth target at each iteration to capture the relationship between intermediate filtering results during training. This ensures that the filtered results converge faster to the clean surfaces. Our method is able to obtain better performance compared to state-of-the-art methods. The source code can be found at: https://github.com/ddsediri/IterativePFN.

研究动机与目标

• 解决现有基于学习的点云去噪方法仅在推理阶段执行迭代滤波，而未在训练过程中建模迭代过程的局限性。
• 通过将真实迭代滤波过程直接嵌入网络架构，克服收敛缓慢及高噪声下性能差的问题。
• 通过引入一种新颖的自适应真实标签目标损失，使其在训练过程中随每次迭代动态演化，从而提升泛化能力与收敛速度。
• 减少复杂几何结构（尤其是紧密相邻表面）中的伪影与表面坍塌现象，这是基于双边滤波方法的常见问题。
• 在合成基准数据集与真实世界扫描数据集（包括 RUEMADAME 和 Kinect v1/v2 等挑战性数据集）上实现高效率与高精度。

提出的方法

• 提出一种新颖的神经网络架构 IterativePFN，由堆叠的 IterationModules 构成，每个模块模拟滤波过程的一次内部迭代。
• 设计一种新颖的损失函数，利用每个迭代阶段的自适应真实标签目标，其基于当前滤波后点到干净表面的最近邻距离计算得出。
• 在每个 IterationModule 中引入可学习的残差位移预测头，用于预测点向底层干净表面的位移。
• 采用多阶段损失端到端训练整个网络，以在所有迭代中促进收敛至干净表面。
• 采用基于补丁的局部特征提取机制，使用固定大小的 k-近邻（k-NN）（例如 100 个点）与基于边的连接性，以捕捉局部上下文信息。
• 采用类似 U-Net 的编码器-解码器主干网络进行特征学习，以实现点云去噪任务中有效的局部与全局表征学习。

实验结果

研究问题

• RQ1 在深度神经网络中建模真实的迭代滤波过程，是否能相比仅在测试时迭代的方法，实现更快的收敛速度与更优的最终去噪质量？
• RQ2 在训练过程中使用自适应真实标签目标（而非固定目标）是否能带来更好的泛化能力与更快的收敛至干净表面？
• RQ3 在具有紧密相邻表面的复杂形状上，IterativePFN 的表现如何？这在现有基于双边滤波的方法中是表面坍塌的已知问题。
• RQ4 在真实世界噪声扫描数据上（真实标签不可用），该方法能否在定性与定量指标上均实现更优性能？
• RQ5 迭代模块数量对最终去噪性能与收敛行为有何影响？

主要发现

• 在 Kinect v1 与 v2 数据集上，IterativePFN 达到了最优的 Chamfer Distance（CD）与第二好的 Point2Mesh（P2M）得分，优于所有基线方法，包括 Pointfilter 与 ScoreDenoise。
• 在 RUEMADAME 真实世界扫描数据集上，IterativePFN 生成了视觉上更优的结果，伪影极少，能准确保留如路牌与车顶等精细结构，而 PDFlow 与 ScoreDenoise 则留下大量异常点。
• 消融实验表明，与固定真实标签目标相比，自适应真实标签损失显著提升了收敛速度与最终性能，尤其在高噪声条件下更为明显。
• 四模块版本（4 ItMs）的收敛速度优于 ScoreDenoise 在 24 次测试时迭代的版本，如图 1 所示，更多点更接近干净表面。
• 在复杂形状（如 Casting 形状）中，IterativePFN 避免了表面坍塌，而 Pointfilter 因其加权双边损失导致相邻表面坍塌。
• 该网络保持了高效率，推理速度优于依赖单点一补丁策略（OPPP）的方法（如 Pointfilter），后者因计算成本过高而性能受限。