[论文解读] Accelerated Stochastic Gradient-free and Projection-free Methods

Feihu Huang, Lue Tao+1 more|arXiv (Cornell University)|Jul 16, 2020

Stochastic Gradient Optimization Techniques被引用 8

一句话总结

本文提出了一种加速的随机零阶弗兰克-沃尔夫方法（Acc-SZOFW 和 Acc-SZOFW*），用于无梯度访问的约束非凸优化。通过结合 SPIDER/SpiderBoost 和 STORM 的方差减少技术与一种新颖的动量技术，该方法在函数查询复杂度方面实现了改进：对于有限和问题为 $O(d\sqrt{n}\epsilon^{-2})$，对于随机问题为 $O(d\epsilon^{-3})$，相比先前工作显著提升。

ABSTRACT

In the paper, we propose a class of accelerated stochastic gradient-free and projection-free (a.k.a., zeroth-order Frank-Wolfe) methods to solve the constrained stochastic and finite-sum nonconvex optimization. Specifically, we propose an accelerated stochastic zeroth-order Frank-Wolfe (Acc-SZOFW) method based on the variance reduced technique of SPIDER/SpiderBoost and a novel momentum accelerated technique. Moreover, under some mild conditions, we prove that the Acc-SZOFW has the function query complexity of $O(d\sqrt{n}ε^{-2})$ for finding an $ε$-stationary point in the finite-sum problem, which improves the exiting best result by a factor of $O(\sqrt{n}ε^{-2})$, and has the function query complexity of $O(dε^{-3})$ in the stochastic problem, which improves the exiting best result by a factor of $O(ε^{-1})$. To relax the large batches required in the Acc-SZOFW, we further propose a novel accelerated stochastic zeroth-order Frank-Wolfe (Acc-SZOFW*) based on a new variance reduced technique of STORM, which still reaches the function query complexity of $O(dε^{-3})$ in the stochastic problem without relying on any large batches. In particular, we present an accelerated framework of the Frank-Wolfe methods based on the proposed momentum accelerated technique. The extensive experimental results on black-box adversarial attack and robust black-box classification demonstrate the efficiency of our algorithms.

研究动机与目标

• 解决在梯度不可用的情况下，特别是在黑箱设置中的约束非凸优化问题。
• 降低零阶弗兰克-沃尔夫方法在有限和与随机设置下的函数查询复杂度。
• 消除方差减少中对大批次的依赖，提升实际效率。
• 开发一种基于新颖动量技术的弗兰克-沃尔夫方法通用加速框架。

提出的方法

• 通过将基于 SPIDER/SpiderBoost 的方差减少与新型动量加速方案结合，提出 Acc-SZOFW 方法，用于零阶弗兰克-沃尔夫方法。
• 提出 Acc-SZOFW*，采用基于 STORM 的方差减少，避免对大批次的需求，同时保持最优的查询复杂度。
• 使用坐标式梯度估计器（CooGE）和均匀/平滑估计器（UniGE），实现基于函数值的梯度近似。
• 应用一种新颖的动量技术，通过动态调整搜索方向，加速零阶弗兰克-沃尔夫方法的收敛。
• 在每次迭代中使用线性最小化 oracle，而非投影，从而保持弗兰克-沃尔夫方法无投影的优势。
• 在约束集的弱光滑性和紧致性假设下，推导出理论收敛保证。

实验结果

研究问题

• RQ1 我们能否设计一种具有加速收敛和降低函数查询复杂度的零阶弗兰克-沃尔夫方法，用于随机非凸优化？
• RQ2 我们能否在保持最优查询复杂度的同时，消除方差减少型零阶弗兰克-沃尔夫方法对大批次的需求？
• RQ3 所提出的动量加速技术相比标准弗兰克-沃尔夫方法，在零阶设置下如何提升收敛性能？
• RQ4 所提方法在有限和与随机设置下，能否实现比现有零阶弗兰克-沃尔夫算法更优的查询复杂度？

主要发现

• Acc-SZOFW 方法在有限和问题中实现了 $O(d\sqrt{n}\epsilon^{-2})$ 的函数查询复杂度，相比先前最优结果提升了 $O(\sqrt{n}\epsilon^{-2})$ 的因子。
• 对于随机问题，Acc-SZOFW 实现了 $O(d\epsilon^{-3})$ 的查询复杂度，相比先前最优结果提升了 $O(\epsilon^{-1})$ 的因子。
• Acc-SZOFW* 方法在随机问题中实现了相同的 $O(d\epsilon^{-3})$ 查询复杂度，且无需依赖大批次，得益于基于 STORM 的方差减少。
• 在黑箱对抗攻击和鲁棒分类任务中的大量实验表明，所提算法收敛更快，且所需函数查询次数少于现有方法。
• 所提出的带动量的加速框架在零阶弗兰克-沃尔夫方法中显著提升了收敛速度，MNIST 和 CIFAR10 上的实证结果已验证该结论。
• 算法在生成通用和单点对抗样本方面表现出色，证实了其在真实机器学习安全任务中的实际效率。