[论文解读] Min-Max Optimization without Gradients: Convergence and Applications to Adversarial ML

Sijia Liu, Songtao Lu+6 more|arXiv (Cornell University)|Sep 30, 2019

Adversarial Robustness in Machine Learning参考文献 66被引用 18

一句话总结

本文提出 ZO-Min-Max，一种零阶极小极大优化框架，通过结合查询效率高的零阶梯度估计器与交替投影随机梯度下降-上升方法，在黑盒机器学习设置中实现了无需梯度的对抗性攻击。该方法实现了 $\mathcal{O}(1/T + 1/b + d/q)$ 的次线性收敛速率，并在高维模型的黑盒逃避攻击与投毒攻击中展现出强大的可扩展性与有效性。

ABSTRACT

In this paper, we study the problem of constrained robust (min-max) optimization ina black-box setting, where the desired optimizer cannot access the gradients of the objective function but may query its values. We present a principled optimization framework, integrating a zeroth-order (ZO) gradient estimator with an alternating projected stochastic gradient descent-ascent method, where the former only requires a small number of function queries and the later needs just one-step descent/ascent update. We show that the proposed framework, referred to as ZO-Min-Max, has a sub-linear convergence rate under mild conditions and scales gracefully with problem size. From an application side, we explore a promising connection between black-box min-max optimization and black-box evasion and poisoning attacks in adversarial machine learning (ML). Our empirical evaluations on these use cases demonstrate the effectiveness of our approach and its scalability to dimensions that prohibit using recent black-box solvers.

研究动机与目标

• 解决在梯度不可用的黑盒设置下受限极小极大优化的挑战。
• 开发一种可扩展且可证明收敛的方法，用于生成对抗性样本与投毒攻击，且不依赖一阶信息。
• 在非凸-强凹设置下，为零阶极小极大优化建立理论收敛保证。
• 在现实世界对抗性机器学习应用（如逃避与投毒攻击）中，展示该方法的实际有效性与可扩展性。

提出的方法

• 集成一种随机零阶（ZO）梯度估计器，仅通过函数值评估近似梯度，查询次数极少。
• 采用带单步更新的交替投影随机梯度下降-上升方案，实现高效优化。
• 使用重要性加权方法，平衡集成攻击中不同模型-类别对的攻击性能。
• 采用带有 $q$ 个随机方向向量的随机 ZO 梯度估计器，以在高维空间中近似梯度。
• 实施批量大小为 $b$ 的小批量策略，以降低随机更新中的方差。
• 推导收敛界，同时考虑目标函数的随机性与 ZO 估计误差。

实验结果

研究问题

• RQ1 零阶极小极大优化框架是否能在仅使用函数值查询的黑盒设置下实现可证明收敛？
• RQ2 所提出的 ZO-Min-Max 方法在对抗性攻击生成中，随着问题维度增加，其可扩展性如何？
• RQ3 重要性加权对集成黑盒攻击鲁棒性的影响是什么？
• RQ4 ZO-Min-Max 与一阶基线方法相比，在攻击成功率与模型准确率下降方面表现如何？
• RQ5 在不同正则化参数下，干净准确率与投毒有效性之间存在何种权衡？

主要发现

• ZO-Min-Max 实现了 $\mathcal{O}(1/T + 1/b + d/q)$ 的次线性收敛速率，在较弱条件下展现出理论收敛性。
• 该方法成功生成了通用扰动，在所有模型-类别对中均实现了 80% 的攻击成功率，适用于黑盒逃避攻击。
• 仅使用 5% 的投毒比例，该方法显著降低了模型测试准确率，表明在数据投毒攻击中具有极高有效性。
• 增加正则化参数 $\lambda$ 可提高投毒模型的准确率，但会降低干净模型的准确率，证实了鲁棒性-准确率之间的权衡。
• ZO-Min-Max 学习到的重要性权重与攻击难度相关，对更鲁棒的模型-类别对（如 M1C1）分配更高权重。
• 实验结果表明，ZO-Min-Max 在逃避与投毒攻击性能方面均优于 ZO-Finite-Sum 与 FO-Min-Max 基线方法。