[论文解读] Adversarial robustness via robust low rank representations

Pranjal Awasthi, Himanshu Jain+2 more|arXiv (Cornell University)|Jul 13, 2020

Adversarial Robustness in Machine Learning参考文献 56被引用 5

一句话总结

该论文提出利用自然低秩数据表示——特别是图像和音频数据——通过随机平滑来增强对抗鲁棒性。通过在低秩空间中修改噪声注入方式，并使用基于乘法权重更新（MWU）的算法来界定 ∞→2 算子范数，该方法在 CIFAR-10 和 CommonVoice 数据集上显著提升了 ℓ₂ 和 ℓ∞ 扰动下的认证鲁棒性，优于当前最先进方法。

ABSTRACT

Adversarial robustness measures the susceptibility of a classifier to imperceptible perturbations made to the inputs at test time. In this work we highlight the benefits of natural low rank representations that often exist for real data such as images, for training neural networks with certified robustness guarantees. Our first contribution is for certified robustness to perturbations measured in $\ell_2$ norm. We exploit low rank data representations to provide improved guarantees over state-of-the-art randomized smoothing-based approaches on standard benchmark datasets such as CIFAR-10 and CIFAR-100. Our second contribution is for the more challenging setting of certified robustness to perturbations measured in $\ell_\infty$ norm. We demonstrate empirically that natural low rank representations have inherent robustness properties, that can be leveraged to provide significantly better guarantees for certified robustness to $\ell_\infty$ perturbations in those representations. Our certificate of $\ell_\infty$ robustness relies on a natural quantity involving the $\infty o 2$ matrix operator norm associated with the representation, to translate robustness guarantees from $\ell_2$ to $\ell_\infty$ perturbations. A key technical ingredient for our certification guarantees is a fast algorithm with provable guarantees based on the multiplicative weights update method to provide upper bounds on the above matrix norm. Our algorithmic guarantees improve upon the state of the art for this problem, and may be of independent interest.

研究动机与目标

• 通过利用图像等数据中自然存在的低秩结构，提升 ℓ₂ 扰动下的认证对抗鲁棒性。
• 通过利用低秩表示的内在鲁棒性，将认证鲁棒性保证扩展至 ℓ∞ 扰动。
• 设计一种快速、可扩展且具有可证明保证的算法，用于上界估计投影矩阵的 ∞→2 算子范数。
• 证明真实世界数据（如图像和音频）天然具有可被用于鲁棒性提升的低秩结构。
• 通过使用结构化低秩投影，突破标准随机平滑中困扰 ℓ∞ 鲁棒性的 √n 鲁棒性屏障。

提出的方法

• 该方法通过在低秩表示的主成分方向上选择性地注入更多噪声，修改随机平滑，以增强对 ℓ₂ 扰动的鲁棒性。
• 提出一种新型认证框架，利用投影矩阵的 ∞→2 算子范数，将 ℓ₂ 鲁棒性保证转化为 ℓ∞ 鲁棒性保证。
• 提出一种基于乘法权重更新（MWU）的算法，以高效计算 ∞→2 算子范数的上界，并具有可证明的近似保证。
• 该算法被应用于图像数据（CIFAR-10/100）和音频数据（CommonVoice）的 DCT 基中，以寻找 ∞→2 范数较小的低秩投影。
• 在应用 MWU 基范数估计前，使用稀疏 PCA 作为启发式方法寻找低秩投影矩阵。
• 通过计算每个输入 x 的认证半径 r_f(x)，评估认证鲁棒性，确保对所有满足 ∥z∥_p ≤ r_f(x) 的 z，都有 f(x+z) = f(x)。

实验结果

研究问题

• RQ1 图像和音频等数据中的自然低秩表示能否被用于提升 ℓ₂ 扰动下的认证鲁棒性？
• RQ2 低秩投影矩阵的 ∞→2 算子范数能否作为 ℓ∞ 鲁棒性认证的有意义代理？
• RQ3 能否设计一种快速、可扩展且具有可证明保证的算法，用于上界估计大矩阵的 ∞→2 算子范数？
• RQ4 利用低秩结构是否能突破标准随机平滑中困扰 ℓ∞ 鲁棒性的 √n 鲁棒性屏障？
• RQ5 所提出的 MWU 基算法在速度和精度方面与通用的 SDP 求解器（如 MOSEK）相比表现如何？

主要发现

• 所提方法在 CIFAR-10 和 CIFAR-100 上实现了比当前最先进随机平滑基线更优的 ℓ₂ 鲁棒性认证准确率。
• 在 ℓ∞ 鲁棒性方面，该方法实现了显著大于 √n 阈值的认证半径，音频数据中投影矩阵的 ∞→2 范数低至 21.285（而 √n ≈ 34.641）。
• 对于 n=10,000 的矩阵，MWU 基算法在 30 秒内完成 ∞→2 范数上界估计，与 MOSEK 相比相对误差低于 5%。
• 在音频数据上，该方法实现了 4.97% 至 5.58% 的投影误差，同时保持 ∞→2 范数远低于 √n，证明了低秩近似的有效性。
• 该算法可高效扩展至 n=20,000，耗时约 30 分钟，尽管是专用求解器，其运行时间仍优于 MOSEK。
• 实证结果表明，图像和音频中自然存在的低秩表示本身具有可被用于认证的内在鲁棒性。