[论文解读] 3DeformRS: Certifying Spatial Deformations on Point Clouds

Gabriel Pérez S., Juan C. Pérez+3 more|arXiv (Cornell University)|Apr 12, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

3DeformRS 提出了一套针对 3D 点云深度神经网络（DNN）在真实空间形变（如旋转、平移和扭曲）下鲁棒性的认证框架。通过将随机平滑（RS）范式适配至 3D 几何结构，该方法在仅造成最小精度损失的前提下提供了认证鲁棒性边界，表明训练阶段的数据增强显著提升了跨形变鲁棒性，同时保持了较高的干净精度。

ABSTRACT

3D computer vision models are commonly used in security-critical applications such as autonomous driving and surgical robotics. Emerging concerns over the robustness of these models against real-world deformations must be addressed practically and reliably. In this work, we propose 3DeformRS, a method to certify the robustness of point cloud Deep Neural Networks (DNNs) against real-world deformations. We developed 3DeformRS by building upon recent work that generalized Randomized Smoothing (RS) from pixel-intensity perturbations to vector-field deformations. In particular, we specialized RS to certify DNNs against parameterized deformations (e.g. rotation, twisting), while enjoying practical computational costs. We leverage the virtues of 3DeformRS to conduct a comprehensive empirical study on the certified robustness of four representative point cloud DNNs on two datasets and against seven different deformations. Compared to previous approaches for certifying point cloud DNNs, 3DeformRS is fast, scales well with point cloud size, and provides comparable-to-better certificates. For instance, when certifying a plain PointNet against a 3° z-rotation on 1024-point clouds, 3DeformRS grants a certificate 3x larger and 20x faster than previous work.

研究动机与目标

• 为解决 3D 点云 DNN 在真实空间形变（如旋转、平移和扭曲）下缺乏认证鲁棒性方法的问题。
• 将原本针对像素强度扰动设计的随机平滑（RS）框架，适配至 3D 几何变换场景，其中点的位置是输入的内在特征。
• 评估特定形变数据增强在提升跨形变鲁棒性方面的作用，同时不降低干净精度。
• 提供一种理论基础坚实、可扩展的认证方法，适用于自动驾驶和外科手术机器人等关键安全的 3D 视觉系统。
• 区分物理上有意义的形变与无结构噪声（如高斯噪声），表明仅语义感知的扰动才能产生可靠的鲁棒性。

提出的方法

• 通过将空间形变建模为点云几何结构的输入扰动，将随机平滑（RS）框架适配至 3D 点云 DNN。
• 提出一种专门的认证程序，用于计算针对 $z$-旋转、$xyz$-旋转、平移和扭曲等几何变换的鲁棒性证书。
• 采用一种平滑策略，通过对输入点云的多个扰动版本进行预测并取平均，以推导出鲁棒性保证。
• 对 RS 框架在 3D 几何中的理论特化进行形式化，如定理推论 1，推导出空间形变下认证鲁棒性的边界。
• 将该方法应用于 PointNet++ 和 DGCNN 等标准架构，评估其在多种形变类型下的鲁棒性。
• 通过干净精度和在不同增强与形变条件下的鲁棒性证书，对鲁棒性进行实证评估。

Figure 1 : Relative improvements on ACR per augmentations

实验结果

研究问题

• RQ1 随机平滑（RS）框架能否有效扩展至认证 3D 点云 DNN 在真实 3D 空间形变下的鲁棒性？
• RQ2 使用特定几何增强进行训练，如何影响 DNN 对相同与不同形变的鲁棒性？
• RQ3 在使用物理上有意义的形变与无结构噪声时，鲁棒性认证与干净精度之间的权衡如何？
• RQ4 使用如旋转或扭曲等形变的数据增强，在多大程度上提升了跨形变鲁棒性？
• RQ5 3DeformRS 是否可应用于已对 SO(3) 变换具有鲁棒性的模型（如基于向量神经元的网络），以扩展其对非刚性形变的鲁棒性？

主要发现

• 使用旋转增强训练 PointNet++ 和 DGCNN 后，不仅在旋转形变下表现出显著鲁棒性提升，对扭曲形变也展现出类似提升，表明存在跨形变泛化能力。
• 使用物理上有意义的形变（如旋转、扭曲）作为增强手段，可提升鲁棒性而不降低干净精度，而高斯噪声则导致精度最高下降 5.8%。
• 当模型使用特定形变增强进行训练时，认证鲁棒性边界始终更高，图 1 中的对角线改进显示，相同形变类型下的相对增益最高可达 20%。
• 该框架展现出良好的可扩展性与效率，计算开销极低，适用于关键安全系统中的实际部署。
• 该方法成功实现了对非刚性形变（如扭曲）的鲁棒性认证，而这类形变未被 SO(3)-不变模型覆盖，凸显其更广泛的应用潜力。
• 由于通过攻击获得的实证紧致边界计算成本过高，作者选择采用标准 RS 基准评估方式，与先前研究保持一致。