[论文解读] Beyond Pixel Norm-Balls: Parametric Adversaries using an Analytically Differentiable Renderer

Hsueh‐Ti Derek Liu, Michael Tao+3 more|arXiv (Cornell University)|Aug 8, 2018

Adversarial Robustness in Machine Learning参考文献 60被引用 65

一句话总结

本文通过对物理成像参数（照明和几何）进行扰动，使用基于物理的可微渲染器，提出参数化范数球，从而实现逼真的对抗样本和基于渲染的数据增强。

ABSTRACT

Many machine learning image classifiers are vulnerable to adversarial attacks, inputs with perturbations designed to intentionally trigger misclassification. Current adversarial methods directly alter pixel colors and evaluate against pixel norm-balls: pixel perturbations smaller than a specified magnitude, according to a measurement norm. This evaluation, however, has limited practical utility since perturbations in the pixel space do not correspond to underlying real-world phenomena of image formation that lead to them and has no security motivation attached. Pixels in natural images are measurements of light that has interacted with the geometry of a physical scene. As such, we propose the direct perturbation of physical parameters that underly image formation: lighting and geometry. As such, we propose a novel evaluation measure, parametric norm-balls, by directly perturbing physical parameters that underly image formation. One enabling contribution we present is a physically-based differentiable renderer that allows us to propagate pixel gradients to the parametric space of lighting and geometry. Our approach enables physically-based adversarial attacks, and our differentiable renderer leverages models from the interactive rendering literature to balance the performance and accuracy trade-offs necessary for a memory-efficient and scalable adversarial data augmentation workflow.

研究动机与目标

• 推动超越像素空间对抗样本，采用反映真实世界图像形成的物理基础扰动。
• 引入一个可微渲染器，能对场景参数的像素颜色进行解析求导。
• 在参数空间对照明和几何进行对抗攻击，并评估它们的真实感与有效性。
• 探索渲染对抗数据增强，以提高对现实世界扰动的鲁棒性。

提出的方法

• 开发具有针对照明和几何的解析导数的基于物理的可微渲染器。
• 用球谐函数表示照明，以便对照明系数的梯度计算高效。
• 通过三角网格顶点调整建模几何扰动，并计算顶点法向量的解析导数。
• 通过在渲染器和分类器之间链式传播梯度来定义参数化对抗目标：C(I)= -CrossEntropy(f(I),Ld) + CrossEntropy(f(I),Li)。
• 执行对抗照明和几何攻击，并扩展到多视角和子空间照明（如天光）。

实验结果

研究问题

• RQ1 参数化的（物理基础的）照明和几何扰动是否能为图像分类器产生有效的对抗样本？
• RQ2 参数化对抗在跨模型和不同观看条件下的泛化效果是否优于或不同于像素空间攻击？
• RQ3 可微分的基于物理的渲染能否实现可扩展的对抗数据增强，从而提高对现实世界图像形成变化的鲁棒性？

主要发现

• 参数化范数球在照明和几何方面可以实现对分类器决策显著影响的逼真对抗扰动。
• 解析可微渲染器在照明和几何上的导数快速、可扩展，在速度和内存使用方面优于以往的可微渲染器。
• 参数化对抗在跨模型中具有迁移性，能够欺骗未见视图，表明参数化攻击的更广泛适用性。
• 渲染的对抗样本可用于数据增强，以提升对真实照片的鲁棒性，而不仅仅是对计算机生成图像。
• 多视角对抗照明可以结合来自多个视角的损失，构造从多角度欺骗分类器的扰动。