[论文解读] Analyzing and Improving Neural Networks by Generating Semantic Counterexamples through Differentiable Rendering

Lakshya Jain, Varun Chandrasekaran+7 more|arXiv (Cornell University)|Oct 2, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用 8

一句话总结

本文提出一种方法，利用可微分渲染和现成的对抗攻击，生成真实且语义有意义的对抗样本，用于深度神经网络（DNNs）。通过在可微分3D场景中扰动对象位置、方向和颜色等语义特征，该方法生成具有信息量且逼真的对抗样本，通过数据增强提升DNN的鲁棒性，在干净测试集上实现最高50个百分点的准确率下降，同时保持高度真实感。

ABSTRACT

Even as deep neural networks (DNNs) have achieved remarkable success on vision-related tasks, their performance is brittle to transformations in the input. Of particular interest are semantic transformations that model changes that have a basis in the physical world, such as rotations, translations, changes in lighting or camera pose. In this paper, we show how differentiable rendering can be utilized to generate images that are informative, yet realistic, and which can be used to analyze DNN performance and improve its robustness through data augmentation. Given a differentiable renderer and a DNN, we show how to use off-the-shelf attacks from adversarial machine learning to generate semantic counterexamples -- images where semantic features are changed as to produce misclassifications or misdetections. We validate our approach on DNNs for image classification and object detection. For classification, we show that semantic counterexamples, when used to augment the dataset, (i) improve generalization performance (ii) enhance robustness to semantic transformations, and (iii) transfer between models. Additionally, in comparison to sampling-based semantic augmentation, our technique generates more informative data in a sample efficient manner.

研究动机与目标

• 解决DNN在真实语义变换（如对象重新定位、旋转和光照变化）下的脆弱性问题。
• 开发一种生成逼真且语义有意义的对抗样本的方法，以暴露模型的漏洞。
• 通过使用这些语义对抗样本进行数据增强，提升DNN的鲁棒性。
• 评估语义对抗样本在不同模型和任务之间的迁移性和泛化能力。
• 证明可微分渲染能够高效生成高质量语义对抗样本，且样本效率高。

提出的方法

• 利用可微分渲染框架（3D-SDN 和 Redner）建模具有可控语义特征（如对象姿态、颜色和光照）的3D场景。
• 在语义特征空间中使用现成的对抗攻击（迭代FGSM、PGD变体、Carlini-Wagner）生成导致模型误分类的扰动。
• 通过可微分渲染器反向传播，优化使模型损失最大化的同时保持视觉真实感的语义参数。
• 通过重新渲染扰动后的3D场景生成对抗样本，确保物理合理性和语义一致性。
• 使用生成的语义对抗样本增强训练数据，并微调DNN以提升鲁棒性。
• 通过FID和LPIPS分数以及人类对感知相似度的评分来评估真实感。

实验结果

研究问题

• RQ1 可微分渲染能否用于生成诱导模型误分类的真实语义对抗样本？
• RQ2 这些语义对抗样本在提升DNN对语义变换的鲁棒性方面效果如何？
• RQ3 语义对抗样本在不同模型和架构之间的迁移程度如何？
• RQ4 与基于采样的数据增强策略相比，该方法的样本效率如何？
• RQ5 生成的语义对抗样本的真实感和感知质量如何？

主要发现

• 通过可微分渲染生成的语义对抗样本在干净测试集上导致准确率最高下降50个百分点，证明了其强大的对抗影响。
• 在数据增强中使用语义对抗样本后，显著提升了图像分类和目标检测任务中的泛化能力和鲁棒性。
• 在语义对抗样本上微调后，mAP提升了7个百分点，而良性mAP仅从99.4%下降至84.73%（下降15个百分点），表明鲁棒性显著增强。
• 该方法实现了高度真实感，FID平均得分为0.102，LPIPS平均距离为0.524，人类真实感评分达4.74/5。
• 语义对抗样本表现出良好的迁移性：当为SqueezeDet生成时，其使YOLOv3的mAP从91.28%降至87.50%，表明跨模型的有效性。
• 与基于采样的增强方法相比，该方法以更少的查询次数生成更具信息量的数据，展现出更高的样本效率。