[论文解读] Interpreting Representation Quality of DNNs for 3D Point Cloud Processing

Wen Shen, Qihan Ren+2 more|arXiv (Cornell University)|Nov 5, 2021

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了一套全面的框架，通过引入六种区域敏感性度量（旋转、平移、缩放及三种结构类型）、空间平滑性以及通过高阶相互作用衡量的表征复杂度，来解释和评估3D点云处理中深度神经网络（DNN）表征的质量。主要发现是，大多数DNN对旋转极为敏感，尤其是在边缘和角落区域，而对抗性训练能显著提升其鲁棒性并增强全局结构编码能力。

ABSTRACT

In this paper, we evaluate the quality of knowledge representations encoded in deep neural networks (DNNs) for 3D point cloud processing. We propose a method to disentangle the overall model vulnerability into the sensitivity to the rotation, the translation, the scale, and local 3D structures. Besides, we also propose metrics to evaluate the spatial smoothness of encoding 3D structures, and the representation complexity of the DNN. Based on such analysis, experiments expose representation problems with classic DNNs, and explain the utility of the adversarial training.

研究动机与目标

• 通过识别对几何变换的脆弱性，诊断DNN在3D点云处理中知识表征的质量。
• 通过量化DNN对旋转、平移、缩放以及局部3D结构（边缘、表面、质量）的区域敏感性，解决DNN的黑箱问题。
• 通过高阶相互作用衡量特征归因的空间平滑性以及表征复杂度。
• 解释为何对抗性训练能提升DNN的鲁棒性并实现更好的全局结构编码。

提出的方法

• 使用Shapley值提出六种区域敏感性度量，以量化在几何变换（旋转、平移、缩放及三种结构类型）下归因的变化。
• 将空间平滑性定义为相邻区域之间归因的相似性，用以衡量DNN在编码局部3D结构时的一致性。
• 将高阶相互作用框架扩展至衡量表征复杂度，其中高阶相互作用反映了全局结构依赖性。
• 采用基于旋转的对抗性训练与数据增强（旋转、平移、缩放）来评估鲁棒性提升效果。
• 在ModelNet10上使用自编码器验证重建任务中的敏感性度量。
• 训练PointNet++和DGCNN的旋转不变变体，与标准模型对比其鲁棒性。

实验结果

研究问题

• RQ1 不同的几何变换（旋转、平移、缩放）如何影响3D点云分类中DNN的归因？
• RQ2 在3D点云中，哪些区域在几何变换敏感性方面最为脆弱？
• RQ3 DNN在多大程度上编码了空间平滑的表征，以反映相邻区域间一致的3D结构？
• RQ4 DNN能够从正常样本中学到的最大上下文复杂度（通过高阶相互作用衡量）是多少？
• RQ5 对抗性训练或数据增强在多大程度上影响了DNN表征对几何扰动的鲁棒性？

主要发现

• 大多数DNN，包括PointNet、PointNet++、DGCNN和PointConv，在无数据增强的情况下，表现出显著高于平移或缩放敏感性的旋转敏感性，其中PointNet++的旋转敏感性为0.111 ± 0.053。
• 边缘和角落是旋转最敏感的区域，通常获得高归因，且易受基于旋转的攻击影响。
• 旋转敏感区域往往激活异常的高阶相互作用，表明其过度拟合于训练数据中的全局结构。
• 采用基于旋转的对抗性训练后，DGCNN的旋转敏感性降低至0.036 ± 0.015，GCNN降低至0.028 ± 0.016，优于旋转数据增强（分别为0.052 ± 0.021和0.048 ± 0.024）。
• 大多数DNN无法编码高阶相互作用，表明其从正常样本中建模复杂全局3D结构的能力有限。
• 用于3D重建的自编码器同样表现出高旋转敏感性（0.099 ± 0.043），表明即使无监督模型也易受几何扰动影响。