[论文解读] Model Compression with Adversarial Robustness: A Unified Optimization Framework

Shupeng Gui, Haotao N. Wang+4 more|arXiv (Cornell University)|Feb 10, 2019

Adversarial Robustness in Machine Learning被引用 62

一句话总结

本文提出 ATMC，一种统一的受约束优化框架，联合执行对抗训练、剪枝、低秩因式分解和非均匀量化，以生成紧凑、鲁棒的 CNN。它使用 ADMM 来处理组合约束，并与基线相比，展示出有利的鲁棒性–模型大小权衡。

ABSTRACT

Deep model compression has been extensively studied, and state-of-the-art methods can now achieve high compression ratios with minimal accuracy loss. This paper studies model compression through a different lens: could we compress models without hurting their robustness to adversarial attacks, in addition to maintaining accuracy? Previous literature suggested that the goals of robustness and compactness might sometimes contradict. We propose a novel Adversarially Trained Model Compression (ATMC) framework. ATMC constructs a unified constrained optimization formulation, where existing compression means (pruning, factorization, quantization) are all integrated into the constraints. An efficient algorithm is then developed. An extensive group of experiments are presented, demonstrating that ATMC obtains remarkably more favorable trade-off among model size, accuracy and robustness, over currently available alternatives in various settings. The codes are publicly available at: https://github.com/shupenggui/ATMC.

研究动机与目标

• 在资源受限环境（如 IoT）中证明在不牺牲对抗鲁棒性的前提下压缩 CNN 的必要性。
• 设计一个统一框架，将剪枝、低秩因式分解和量化在对抗鲁棒性约束下整合。
• 开发一种高效的优化算法（基于 ADMM）以求解约束的极小极大问题。
• 提供实证证据表明 ATMC 相较于逐步或朴素基线在鲁棒性–大小权衡方面表现更好。

提出的方法

• 将 ATMC 表述为一个带有对抗训练以对 bounded Perturbations 下的最坏情况损失进行最小化的约束极小极大优化问题。
• 对 W = UV + C 的统一稀疏性/结构约束和总非零元素数 ||U||0 + ||V||0 + ||C||0 ≤ k，以及每个非零元素的量化约束 |θ|0 ≤ 2^b 进行约束。
• 通过在训练期间约束非零值的唯一数量来学习非均匀量化，并引入比特精度参数 b。
• 使用 ADMM 来拆分约束并实现对 θ、θ′ 及对偶变量的交替更新，包括一个基于 ZeroKmeans 的量化投影。
• 利用类似聚类的投影来表示量化，将非零权重分配到一组较小的学习值（包括零）。
• 给出一个算法大纲（ZeroKmeans 用于量化、稀疏投影用于剪枝、训练期间的对抗样本生成）。

实验结果

研究问题

• RQ1 一个单一的优化框架能否在剪枝、因式分解和量化方面共同实现模型压缩与对抗鲁棒性吗？
• RQ2 与基线（纯压缩、纯防御或混合）相比，ATMC 压缩模型是否在鲁棒性-准确性和压缩权衡方面具备更优表现？
• RQ3 ATMC 压缩模型的鲁棒性是否可推广到不同的对手和扰动水平？

主要发现

• ATMC 在模型大小、准确性和鲁棒性之间的权衡方面，一致比基线组合表现更优。
• 与 ATMC 的联合优化可以在高压缩比下达到有竞争力的无害(benign)准确度和鲁棒性。
• 量化（8 位）使得在保持鲁棒性的前提下实现更具侵略性的压缩相较于 32 位变体更有效。
• ATMC 压缩模型的鲁棒性可与更密集的对抗训练模型相媲美，同时所需参数显著更少。
• 使用 ATMC 进行压缩可以缩小无害准确度与在攻击下鲁棒性之间的差距，这一差距在朴素压缩方法中更为明显。