[论文解读] An optimal algorithm for stochastic strongly-convex optimization

Elad Hazan, Satyen Kale|arXiv (Cornell University)|Jun 12, 2010

Advanced Bandit Algorithms Research参考文献 1被引用 17

一句话总结

本文提出 Epoch-GD，一种用于强凸优化且目标函数非光滑的最优随机梯度下降算法。通过在自适应周期内使用指数递减的学习率并平均迭代点，该算法在达到 $ \varepsilon $-精度时，实现 $ O(G^2/(λ\varepsilon)) $ 次梯度更新的最优收敛速率，与该类问题的理论下界一致。

ABSTRACT

We consider stochastic convex optimization with a strongly convex (but not necessarily smooth) objective. We give an algorithm which performs only gradient updates with optimal rate of convergence.

研究动机与目标

• 填补在目标函数不一定是光滑的情况下，随机强凸优化中最优算法的空白。
• 设计一种仅使用梯度更新即可实现最优收敛速率的方法，避免使用高阶信息。
• 确保以最少的梯度评估次数收敛至 $ \varepsilon $-精度，与信息论下界一致。
• 利用鞅集中不等式和对次梯度估计噪声的鲁棒分析，提供高概率收敛保证。
• 通过标准在线学习技术将框架扩展至非欧几里得范数，同时保持最优性。

提出的方法

• 引入基于周期的结构，其中每个周期使用固定的学习率 $ \eta_k = V_k/(4G^2) $，其中 $ V_k = M/2^{k-1} $，呈指数递减。
• 在每个周期 $ k $ 内，使用投影到可行集 $ \mathcal{K} $ 的方式执行 $ T_k = \lceil 16G^2 / (\lambda V_k) \rceil $ 次随机梯度更新。
• 在每个周期结束时，将下一个起始点设为该周期内所有迭代点的平均值：$ \mathbf{x}_1^{k+1} = \frac{1}{T_k} \sum_{t=1}^{T_k} \mathbf{x}_t^k $。
• 利用强凸性通过 $ f(\mathbf{x}) - f(\mathbf{x}^*) \geq \lambda \|\mathbf{x} - \mathbf{x}^*\|^2 $ 限制到最优解的距离，从而实现更紧密的收敛性分析。
• 使用 Azuma 不等式，通过控制次梯度估计误差引起的鞅差分序列，推导出高概率界。
• 应用数学归纳法与递归有界法，证明在 $ \lceil \log_2(M/\varepsilon) \rceil $ 个周期后，期望次优性满足 $ \mathbb{E}[f(\mathbf{x}_1^{k+1})] - f(\mathbf{x}^*) \leq \varepsilon $。

实验结果

研究问题

• RQ1 能否设计一种仅使用梯度信息的最优随机梯度算法，用于强凸但非光滑的目标函数？
• RQ2 在随机强凸优化中，实现 $ \varepsilon $-精度所需的最少梯度更新次数是多少？
• RQ3 在次梯度估计噪声和有界范数的条件下，如何推导出高概率收敛保证？
• RQ4 该算法能否在保持最优性与收敛速率的前提下，扩展至非欧几里得范数？
• RQ5 何种学习率与周期长度调度策略可确保最优收敛，且无需事先知晓最优解？

主要发现

• Epoch-GD 算法在 $ \lceil \log_2(M/\varepsilon) \rceil $ 个周期后，实现期望次优性 $ \mathbb{E}[f(\mathbf{x}_1^{k+1})] - f(\mathbf{x}^*) \leq \varepsilon $。
• 总梯度更新次数被限制在 $ O(G^2/(λ\varepsilon)) $ 以内，与该问题类的信息论下界一致。
• 以高概率 $ 1 - \delta $，该算法使用 $ O(G^2 \log(1/\delta)/(λ\varepsilon)) $ 次梯度更新即可达到 $ \varepsilon $-精度。
• 即使在次梯度估计存在 $ L_2 $-有界噪声 $ \|\hat{\mathbf{g}}_t\| \leq G $ 的情况下，该算法仍保持最优性。
• 通过周期内平均与自适应学习率的使用，确保了收敛性，且无需光滑性或强正则性，仅依赖强凸性。
• 通过标准在线学习技术，该分析可扩展至非欧几里得范数，同时保持最优收敛速率。