[论文解读] Primal-dual subgradient methods for minimizing uniformly convex functions

Anatoli B. Juditsky, Yuri Nesterov|arXiv (Cornell University)|Jan 8, 2014

Stochastic Gradient Optimization Techniques参考文献 14被引用 59

一句话总结

该论文提出了一种在非欧几里得设置下最小化一致凸函数的原始-对偶子梯度方法，实现了与已知最优界仅相差对数因子的极小极大最优收敛速率。该方法能自动适应未知的强凸性或一致凸性参数，确保在不预先知晓目标函数曲率特性的情况下实现最优性能。

ABSTRACT

We discuss non-Euclidean deterministic and stochastic algorithms for optimization problems with strongly and uniformly convex objectives. We provide accuracy bounds for the performance of these algorithms and design methods which are adaptive with respect to the parameters of strong or uniform convexity of the objective: in the case when the total number of iterations $N$ is fixed, their accuracy coincides, up to a logarithmic in $N$ factor with the accuracy of optimal algorithms.

研究动机与目标

• 设计用于大规模非欧几里得优化的确定性和随机一阶算法，目标函数为一致凸函数。
• 为一致凸函数实现极小极大最优收敛速率，与已知下界仅相差对数因子（以迭代次数计）。
• 开发无需预先知晓目标函数强凸性或一致凸性参数的自适应方法。
• 将非欧几里得一阶方法从强凸性推广至一致凸性设置，适用于一般凸性参数 $\rho \in [2, \infty)$ 的情形。
• 为原始-对偶框架中出现的近端子问题提供高效求解方案，特别是针对单纯形和超八面体约束集。

提出的方法

• 该方法基于非欧几里得近端设置，采用距离生成函数 $d(x)$ 和 Bregman 散度来定义近端项，构建原始-对偶子梯度框架。
• 通过拉格朗日松弛耦合约束，将子问题 (11) 的对偶化表述，实现分解为独立的二维子问题。
• 对于标准单纯形和超八面体，通过对偶问题的求解，将每个子问题归约为在直线性约束下最小化形如 $su + tv + u\ln u + v\ln v$ 的函数。
• 通过检查等式约束下的最优解是否满足最优性条件来计算每个二维子问题的解；若不满足，则边界约束起作用，相应地设定解。
• 通过使用自适应步长规则，该算法可自动适应未知的凸性参数 $\rho$ 和 $\mu$，确保无需调参即可收敛。
• 该方法实现了 $O\left(\mu^{-2/\rho} \epsilon^{-(2(\rho-1)/\rho)}\right)$ 阶的收敛速率，与已知下界仅相差对数因子。

实验结果

研究问题

• RQ1 原始-对偶子梯度方法能否在非欧几里得空间中为一致凸函数实现极小极大最优收敛速率？
• RQ2 如何使此类方法对未知的强凸性或一致凸性参数 $\mu$ 和 $\rho$ 实现自适应？
• RQ3 在标准单纯形和超八面体等约束集下，原始-对偶框架中近端子问题的计算复杂度如何？
• RQ4 能否将一致凸问题的一阶方法收敛速率提升至超过一般凸函数的 $O(\epsilon^{-2})$ 标准界？
• RQ5 在何种条件下，非欧几里得框架相较于欧几里得框架在条件数和收敛速度方面具有优势？

主要发现

• 所提出的原始-对偶子梯度方法对一致凸函数（参数 $\rho \in [2, \infty)$ 且 $\mu \geq 0$）实现了 $O\left(\mu^{-2/\rho} \epsilon^{-(2(\rho-1)/\rho)}\right)$ 的收敛速率，与已知下界仅相差对数因子。
• 该方法具备自适应性：在无需预先知晓凸性参数 $\mu$ 和 $\rho$ 的情况下实现最优性能，适用于黑箱优化场景。
• 对于标准单纯形和超八面体约束集，近端子问题可通过简化为具有闭式解或简单根求解过程的二维优化问题，实现高效求解。
• 即使条件数 $\lambda = \mathcal{L}(f)/\mu(f)$ 较大，该方法在非欧几里得设置下仍保持最优性，而欧几里得方法在该条件下可能性能下降。
• 分析结果表明，该方法的最坏情况复杂度在极小极大理论意义下是最优的，对于该类问题不可能存在更快的收敛速率。
• 该研究将先前针对强凸（即 $\rho=2$）和光滑一致凸问题的工作推广至一般一致凸情形，适用于任意 $\rho \geq 2$。