[论文解读] Be Careful with Rotation: A Uniform Backdoor Pattern for 3D Shape

Linkun Fan, Fazhi He+4 more|arXiv (Cornell University)|Nov 28, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 NRBdoor，一种用于 3D 形状的统一后门模式，通过利用噪声旋转实现跨异构 3D 数据结构（如点云和网格）的可转移、不可察觉的后门攻击。其在最先进的 3D 网格神经网络上实现了 100% 的攻击成功率，且准确率下降极小，并成功规避了显著性防御机制，标志着首次成功将后门植入 3D 网格深度神经网络。

ABSTRACT

For saving cost, many deep neural networks (DNNs) are trained on third-party datasets downloaded from internet, which enables attacker to implant backdoor into DNNs. In 2D domain, inherent structures of different image formats are similar. Hence, backdoor attack designed for one image format will suite for others. However, when it comes to 3D world, there is a huge disparity among different 3D data structures. As a result, backdoor pattern designed for one certain 3D data structure will be disable for other data structures of the same 3D scene. Therefore, this paper designs a uniform backdoor pattern: NRBdoor (Noisy Rotation Backdoor) which is able to adapt for heterogeneous 3D data structures. Specifically, we start from the unit rotation and then search for the optimal pattern by noise generation and selection process. The proposed NRBdoor is natural and imperceptible, since rotation is a common operation which usually contains noise due to both the miss match between a pair of points and the sensor calibration error for real-world 3D scene. Extensive experiments on 3D mesh and point cloud show that the proposed NRBdoor achieves state-of-the-art performance, with negligible shape variation.

研究动机与目标

• 解决在点云和网格等异构 3D 数据结构之间缺乏可转移后门模式的问题。
• 设计一种能保持 3D 网格几何与拓扑完整性的后门模式，确保与基于网格的 DNN 兼容。
• 开发一种因传感器噪声和校准误差而自然存在于真实 3D 数据中的不可察觉且自然的后门。
• 评估所提后门对数据增强和新兴防御机制的鲁棒性。
• 提出一种新型基于显著性的防御方法（SP-defense），用于点云后门检测，并评估其对 NRBdoor 及现有攻击的有效性。

提出的方法

• NRBdoor 通过将非正交、带噪声的旋转矩阵应用于整个 3D 形状，模拟真实世界中的传感器和校准误差，生成后门。
• 通过迭代优化噪声生成与选择过程，寻找最优噪声旋转模式，以逐步提升攻击成功率（ASR）并最小化准确率下降。
• 利用球坐标系和变量变换（ρᵢ = rᵢ⁻ᵝ）计算点云特征的显著性分数，从而识别关键后门区域。
• 显著性防御（SP-defense）通过排序并移除前 q 个显著性高的点（假设为后门模式的一部分）来识别并清除高显著性点。
• 在 ModelNet40 等公开数据集上，对点云（PointNet、PointNet++、DGCNN）和网格（MeshCNN、SubdivNet、MeshWalker）模型进行攻击评估。
• 在数据增强（随机旋转与缩放）条件下测试框架，结果表明其具有鲁棒性，ASR 仅下降 5%。

实验结果

研究问题

• RQ1 能否设计一种可在点云和网格等异构 3D 数据结构之间可转移的后门模式？
• RQ2 如何通过利用真实世界 3D 获取中的固有噪声，使后门在 3D 数据中不可察觉且自然？
• RQ3 所提出的 NRBdoor 在保持高攻击成功率的同时，对干净数据的模型准确率维持程度如何？
• RQ4 NRBdoor 是否能规避现有针对点云后门设计的显著性防御？
• RQ5 所提出的 SP-defense 在检测和缓解 3D 点云模型后门攻击方面效果如何？

主要发现

• NRBdoor 在多个最先进的 3D 网格 DNN（如 MeshCNN、SubdivNet、MeshWalker）上实现了 100% 的攻击成功率，且干净准确率下降低于 0.5%。
• 在 3D 点云模型（PointNet、PointNet++、DGCNN）上，NRBdoor 的攻击成功率超过 93.44%，同时保持高度隐蔽性。
• 后门模式对数据增强具有鲁棒性，在随机旋转与缩放下 ASR 仅降低 5%。
• SP-defense 将 PointBA_X 的攻击成功率从 82% 降低至 23%，但对 NRBdoor 的影响仅限于轻微下降（从 93.44% 降至 88.39%），证明其具备有效规避能力。
• NRBdoor 是首个成功植入并运行于 3D 网格 DNN 中的后门模式，且未破坏流形或封闭性属性。
• 搜索过程表明，增加迭代次数（K）和候选噪声数量（M）可提升模式质量，在最优设置下 ASR 达到 100%。