[论文解读] Adversarial Geometry and Lighting using a Differentiable Renderer

Hsueh‐Ti Derek Liu, Michael Tao+3 more|arXiv (Cornell University)|Aug 8, 2018

Adversarial Robustness in Machine Learning被引用 13

一句话总结

本文提出了一种对抗性攻击方法，直接扰动物理参数——光照和几何——而非像素值，利用可微分渲染器实现基于梯度的优化。其主要贡献是提出了一种基于参数化范数球的物理基础评估框架，展示了在视觉模型中更真实、更安全的对抗鲁棒性评估。

ABSTRACT

Many machine learning image classifiers are vulnerable to adversarial attacks, inputs with perturbations designed to intentionally trigger misclassification. Current adversarial methods directly alter pixel colors and evaluate against pixel norm-balls: pixel perturbations smaller than a specified magnitude, according to a measurement norm. This evaluation, however, has limited practical utility since perturbations in the pixel space do not correspond to underlying real-world phenomena of image formation that lead to them and has no security motivation attached. Pixels in natural images are measurements of light that has interacted with the geometry of a physical scene. As such, we propose the direct perturbation of physical parameters that underly image formation: lighting and geometry. As such, we propose a novel evaluation measure, parametric norm-balls, by directly perturbing physical parameters that underly image formation. One enabling contribution we present is a physically-based differentiable renderer that allows us to propagate pixel gradients to the parametric space of lighting and geometry. Our approach enables physically-based adversarial attacks, and our differentiable renderer leverages models from the interactive rendering literature to balance the performance and accuracy trade-offs necessary for a memory-efficient and scalable adversarial data augmentation workflow.

研究动机与目标

• 解决当前对抗性攻击仅在像素空间中操作的局限性，这些方法与真实世界图像形成过程缺乏对应关系。
• 开发一种具有物理意义的对抗性评估框架，反映真实世界现象如光照和几何。
• 通过反向传播至基于物理的渲染器，实现对对抗性样本的基于梯度的优化。
• 提升机器学习中对抗鲁棒性评估的实际相关性和安全动机。
• 在利用可微分渲染进行对抗性数据增强时，平衡计算效率与准确性。

提出的方法

• 作者提出一种基于交互式渲染模型的可微分渲染器，支持从像素空间反向传播至光照和几何参数。
• 他们将参数化范数球定义为物理参数（光照和几何）扰动范围内的集合，替代传统的像素范数约束。
• 该方法通过直接优化光照和几何参数，利用梯度下降生成对抗性样本。
• 可微分渲染器计算像素级损失相对于光照方向、强度和场景几何的梯度。
• 通过利用高效的渲染技术，该方法支持可扩展且内存高效的对抗性数据增强。
• 该框架支持在物理上合理扰动下对模型进行端到端训练与评估。

实验结果

研究问题

• RQ1 若在物理参数空间而非像素空间中进行对抗性攻击，是否可使其更具现实感？
• RQ2 当扰动光照和几何而非像素时，对抗性攻击的性能如何变化？
• RQ3 参数化范数球在多大程度上提供了比传统像素范数约束更安全、更实用的模型鲁棒性评估？
• RQ4 可微分渲染器是否能够实现高效且准确的基于梯度的优化，以应对物理参数扰动？
• RQ5 与标准的基于像素的对抗性训练相比，该方法在鲁棒性和泛化能力方面表现如何？

主要发现

• 所提方法实现了与真实世界图像形成过程更一致的物理基础对抗性攻击。
• 参数化范数球相较于传统像素范数约束，提供了更具意义且更安全的评估指标。
• 可微分渲染器成功地将梯度从像素传播至光照和几何参数，实现了有效的优化。
• 通过高效的渲染技术，该方法实现了可扩展且内存高效的对抗性数据增强。
• 通过光照和几何扰动生成的对抗性样本表现出更高的实际相关性，并对真实世界中的噪声具有更强的鲁棒性。
• 与标准的基于像素的攻击相比，该方法在真实物理扰动下显著提升了模型的鲁棒性。