[论文解读] An Accelerated DFO Algorithm for Finite-sum Convex Functions

Yu-Wen Chen, Antonio Orvieto+1 more|arXiv (Cornell University)|Jul 7, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

该论文提出 ZO-Varag，一种针对有限和凸函数的新型无导数优化算法，通过结合方差缩减、高斯平滑与动量，实现了加速收敛速率。该算法在光滑凸与强凸设置下均证明了加速收敛性，并在多个数据集上通过实验验证了其在不同超参数下稳定的表现。

ABSTRACT

Derivative-free optimization (DFO) has recently gained a lot of momentum in machine learning, spawning interest in the community to design faster methods for problems where gradients are not accessible. While some attention has been given to the concept of acceleration in the DFO literature, existing stochastic algorithms for objective functions with a finite-sum structure have not been shown theoretically to achieve an accelerated rate of convergence. Algorithms that use acceleration in such a setting are prone to instabilities, making it difficult to reach convergence. In this work, we exploit the finite-sum structure of the objective in order to design a variance-reduced DFO algorithm that provably yields acceleration. We prove rates of convergence for both smooth convex and strongly-convex finite-sum objective functions. Finally, we validate our theoretical results empirically on several tasks and datasets.

研究动机与目标

• 设计一种可证明加速的无导数优化算法，用于有限和凸函数。
• 通过方差缩减解决随机无导数优化设置中动量的不稳定性问题。
• 利用有限和结构，在无需访问梯度的情况下实现更快的收敛速率。
• 在真实世界数据集上，通过实证方法验证理论收敛速率。

提出的方法

• 使用高斯平滑通过函数评估估计梯度，避免显式计算导数。
• 通过 Varag 框架应用方差缩减，降低梯度估计噪声。
• 采用类似 Katyusha 的更新方式引入动量，动量参数 $ p = 0.5 $，确保理论稳定性。
• 使用两点随机估计器进行梯度近似，提升函数查询的使用效率。
• 引入坐标轴变体以改善各坐标收敛性并减少停滞效应。
• 采用平均策略（选项 I 和 II）以提升收敛性，实证结果表明实践中更倾向于选择选项 II（不平均）。

实验结果

研究问题

• RQ1 无导数算法能否在有限和凸函数上实现加速收敛速率？
• RQ2 在无法访问梯度的随机无导数优化设置中，如何稳定动量？
• RQ3 方差缩减在无导数优化中对提升收敛速度与稳定性起到何种作用？
• RQ4 平滑参数 $ \nu $、步长以及动量 $ p $ 等超参数如何影响收敛性与最终次优性？
• RQ5 该算法的坐标轴变体在实际中是否优于标准版本？

主要发现

• ZO-Varag 在光滑凸与强凸有限和函数上均实现了加速收敛速率，达到理论最优速率。
• 理论分析证明，当使用 $ p = 0.5 $ 时，该算法的收敛性稳定且加速。
• 实证结果表明，在 diabetes 与 ijcnn1 数据集上，选项 II（不平均）的收敛速度优于选项 I（平均）。
• 较小的平滑参数 $ \nu $ 能够降低最终次优性，尤其在逻辑回归中效果显著，但在岭回归中影响可忽略。
• 步长 $ \alpha_s \gamma_s $ 控制停滞效应：减小该值可降低最终次优性，但会减缓收敛速度。
• 坐标轴变体在实际中与 ZO-Varag 表现几乎一致，仅因步长为 $ d $ 倍大而产生轻微差异的停滞误差。