[论文解读] Certified Defense to Image Transformations via Randomized Smoothing

Marc Fischer, Maximilian Baader+1 more|arXiv (Cornell University)|Feb 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 5

一句话总结

该论文首次提出了针对图像变换（如旋转和平移）的认证防御方法，通过将随机平滑扩展至参数化变换实现。通过统计分析或高效逆计算来约束插值误差，该方法同时实现了分布鲁棒性和个体鲁棒性保证，在50%的Restricted ImageNet图像上实现了对±30°旋转的认证鲁棒性。

ABSTRACT

Fair representation learning provides an effective way of enforcing fairness constraints without compromising utility for downstream users. A desirable family of such fairness constraints, each requiring similar treatment for similar individuals, is known as individual fairness. In this work, we introduce the first method thatenables data consumers to obtain certificates of individualfairness for existing andnew data points. The key idea is to map similar individuals toclose latent representations and leverage this latent proximity to certify individual fairness. That is, our method enables the data producer to learn and certify a representation where for a data point all similar individuals are at ℓ∞-distance at most epsilon, thus allowing data consumers to certify individual fairness by proving epsilon-robustness of their classifier. Our experimental evaluation on five real-world datasets and several fairnessconstraints demonstrates the expressivity and scalability of our approach.

研究动机与目标

• 解决非可组合几何变换（如插值导致的旋转）的认证挑战，此类变换破坏了组合性，使标准ℓp范数认证方法失效。
• 将随机平滑从ℓp-范数扰动扩展至参数化变换（如旋转角和平移向量）。
• 开发新型认证方法，可在概率或确定性误差边界下同时提供分布鲁棒性和个体鲁棒性保证。
• 实现对大型模型和数据集（如ResNet-50在ImageNet上）的实际认证，而此前方法因计算或组合性限制而失败。

提出的方法

• 通过向变换参数（如旋转角、平移向量）添加高斯噪声，将随机平滑扩展至参数化变换，实现在变换参数空间中的鲁棒性认证。
• 提出BASESPT作为可组合变换的基线方法，继承标准随机平滑的保证，但在非可组合变换（如插值旋转）中失效。
• 提出INDIVSPT，一种在推理时计算个体证书的方法，通过区间分析和变换的高效逆计算，在不访问原始图像的情况下估计插值误差的上界。
• 提出DISTSPT，一种分布鲁棒性方法，通过估计数据分布上的插值误差概率上界，实现比INDIVSPT更紧的边界，但仅提供概率性保证。
• 使用DISTSPTD对误差边界进行离线估计，置信度为qE，同时提供分布鲁棒性和个体鲁棒性保证。
• 提出DISTSPTx，一种变体，可在测试集上为每张图像计算边界，相比DISTSPTD提供更紧的边界，但仅提供分布鲁棒性保证。

实验结果

研究问题

• RQ1 随机平滑能否推广至非可组合的参数化变换（如旋转和平移），这些变换因插值效应而无法组合？
• RQ2 当受扰动的图像无法通过插值精确逆推时，如何在几何变换的参数空间中实现鲁棒性认证？
• RQ3 在处理非可组合变换时，不同认证保证之间（分布 vs. 个体，确定性 vs. 概率性）的权衡是什么？
• RQ4 能否利用变换的高效逆计算来提升存在插值误差时的个体证书紧致性？

主要发现

• 该方法在使用ResNet-50时，对Restricted ImageNet中50%的图像实现了对±30°旋转的认证鲁棒性，证明了其在大型模型和数据集上的可扩展性。
• 在MNIST数据集上，INDIVSPT对对抗性旋转图像的认证率达到81%，平均平滑耗时25.03秒，误差分析耗时0.26秒。
• 在MNIST上的平移攻击中，INDIVSPT对59%的图像实现了鲁棒性认证，平均分析和平滑时间分别为14.14秒和19.89秒/张图像。
• DISTSPTD以高置信度qE同时提供分布鲁棒性和个体鲁棒性保证，通过放宽对确定性误差边界的依赖，实现了比INDIVSPT更紧的边界。
• DISTSPTx通过计算每张图像的边界，进一步收紧了边界，但仅提供分布鲁棒性保证，不支持个体保证。
• 该方法可推广至其他参数化变换和插值方案，包括音频处理等应用。