[论文解读] Adversarial Robustness of Supervised Sparse Coding

Jeremias Sulam, Ramchandran Muthukumar+1 more|arXiv (Cornell University)|Oct 22, 2020

Adversarial Robustness in Machine Learning参考文献 69被引用 6

一句话总结

本文提出了一套监督稀疏编码中对抗鲁棒性的理论框架，其中稀疏性促进编码器将输入映射为稀疏特征，随后通过线性分类器进行分类。该框架基于编码器间隙与字典非相干性建立鲁棒性证书，证明当间隙超过与对抗范数和分类器边际相关的阈值时，预测结果在ℓ2有界扰动下保持不变。

ABSTRACT

Several recent results provide theoretical insights into the phenomena of adversarial examples. Existing results, however, are often limited due to a gap between the simplicity of the models studied and the complexity of those deployed in practice. In this work, we strike a better balance by considering a model that involves learning a representation while at the same time giving a precise generalization bound and a robustness certificate. We focus on the hypothesis class obtained by combining a sparsity-promoting encoder coupled with a linear classifier, and show an interesting interplay between the expressivity and stability of the (supervised) representation map and a notion of margin in the feature space. We bound the robust risk (to $\ell_2$-bounded perturbations) of hypotheses parameterized by dictionaries that achieve a mild encoder gap on training data. Furthermore, we provide a robustness certificate for end-to-end classification. We demonstrate the applicability of our analysis by computing certified accuracy on real data, and compare with other alternatives for certified robustness.

研究动机与目标

• 通过研究具有可证明泛化性与鲁棒性的学习表征，弥合理论鲁棒性分析与实际模型之间的差距。
• 在ℓ2有界对抗扰动下，为监督稀疏编码中的假设提供精确的泛化边界。
• 基于编码器间隙与模型特性，推导出保证预测稳定性的鲁棒性证书。
• 在MNIST与CIFAR-10上通过对抗扰动下的认证准确率，对理论发现进行实证验证。

提出的方法

• 提出一个结合监督稀疏编码器与线性分类器的假设类，利用字典学习来表示数据。
• 引入基于编码器间隙τs、字典限制等距性性质（RIP）常数ηs与分类器边际的鲁棒性证书。
• 采用最小ϵ-覆盖论证来界定鲁棒风险，ℓ2扰动大小为ν时，样本复杂度增加量级为O((1+ν)²/m)。
• 训练过程中使用FISTA实现可微特征计算，推理时则精确计算解以确保编码器间隙的有效性。
• 推导出稳定性边界，表明在对抗攻击下，表征扰动被限制在ν/√(1−ηs)以内。
• 通过在MNIST与CIFAR-10上进行端到端训练，采用基于FISTA的优化与批量归一化配合Adam优化器，验证结果。

实验结果

研究问题

• RQ1 监督稀疏编码模型能否在ℓ2有界对抗扰动下实现可证明的鲁棒性？
• RQ2 在存在对抗噪声时，编码器间隙τs与鲁棒性之间存在何种关系？
• RQ3 字典的何种条件（如RIP、非相干性）与分类器边际可确保鲁棒性认证？
• RQ4 与标准学习相比，对抗污染下样本复杂度如何变化？
• RQ5 理论鲁棒性证书能否在实践中验证，并优于其他认证鲁棒性方法？

主要发现

• 在ℓ2扰动大小为ν时，鲁棒风险受到限制，样本复杂度仅出现O((1+ν)²/m)的轻微增加。
• 建立了鲁棒性证书：若编码器间隙τs > 2ν且字典满足ηs-RIP，则对所有∥v∥₂ ≤ ν，预测结果保持不变。
• 表征稳定性被限制为∥ϕD(x₀) − ϕD(x₀ + v)∥₂ ≤ ν/√(1−ηs)，确保扰动下特征偏移较小。
• 对于多分类任务，当ν ≤ min{τs(x)/2, ρx√(1−ηs)/cW}时，鲁棒性成立，其中ρx为边际，cW为类别权重向量间最大成对距离。
• 在MNIST与CIFAR-10上的实证结果表明，所提方法在对抗扰动下实现了认证准确率，其鲁棒性保证优于基线方法。
• 在无监督方式下预训练字典可提升收敛性，并实现推理时精确编码器间隙的稳定计算。