[论文解读] Adaptivity of averaged stochastic gradient descent to local strong convexity for logistic regression

Francis Bach|arXiv (Cornell University)|Mar 25, 2013

Stochastic Gradient Optimization Techniques参考文献 39被引用 65

一句话总结

该论文证明，当步长为 $1/R^2\sqrt{N}$ 的常数时，平均随机梯度下降（ASGD）在逻辑回归中无需事先知晓强凸性参数 $\mu$，即可自适应地适应局部强凸性。当 $\mu > R^2/\sqrt{N}$ 时，其收敛速率被证明为 $O(R^2/\mu N)$，通过逻辑损失的自协和性特性，实现了对未知局部曲率的自适应。

ABSTRACT

In this paper, we consider supervised learning problems such as logistic regression and study the stochastic gradient method with averaging, in the usual stochastic approximation setting where observations are used only once. We show that after $N$ iterations, with a constant step-size proportional to $1/R^2 \\sqrt{N}$ where $N$ is the number of observations and $R$ is the maximum norm of the observations, the convergence rate is always of order $O(1/\\sqrt{N})$, and improves to $O(R^2 / \\mu N)$ where $\\mu$ is the lowest eigenvalue of the Hessian at the global optimum (when this eigenvalue is greater than $R^2/\\sqrt{N}$). Since $\\mu$ does not need to be known in advance, this shows that averaged stochastic gradient is adaptive to \\emph{unknown local} strong convexity of the objective function. Our proof relies on the generalized self-concordance properties of the logistic loss and thus extends to all generalized linear models with uniformly bounded features.

研究动机与目标

• 分析在有限时域、常数步长设置下，平均随机梯度下降（ASGD）在逻辑回归中的收敛行为。
• 建立 ASGD 在无需预先知晓强凸性参数 $\mu$ 的情况下，自适应于局部强凸性（即最优解处 Hessian 矩阵的最小特征值 $\mu$）的性质。
• 推导出当存在局部强凸性时，收敛速率从 $O(1/\sqrt{N})$ 提升至 $O(R^2/\mu N)$ 的结果，且不引入指数因子。
• 通过利用逻辑损失的广义自协和性及有界特征范数，将分析从全局强凸性推广至更一般情形。

提出的方法

• 采用与 $1/R^2\sqrt{N}$ 成比例的常数步长，其中 $R$ 为最大特征范数，$N$ 为样本数量。
• 对随机梯度下降的迭代序列应用 Polyak-Ruppert 平均，以提升收敛稳定性和速率。
• 利用逻辑损失的广义自协和性特性，控制高阶矩并推导浓度界。
• 通过时间上的指数尾部界与积分估计相结合，推导出期望平方误差 $\mathbb{E}\|\bar{\theta}_N - \theta_*\|^2$ 的上界。
• 引入基于 $\mu\sqrt{N}/R \geq 500$ 的阈值条件，以确保改进的收敛速率，否则退化为标准速率。
• 使用倍增技巧论证，将结果从常数步长扩展至衰减步长，但主要分析集中于常数步长情形。

实验结果

研究问题

• RQ1 在存在局部强凸性但未知强凸性参数 $\mu$ 的情况下，平均随机梯度下降能否在逻辑回归中实现改进的收敛速率？
• RQ2 ASGD 的收敛速率是否能自适应于最优解处 Hessian 矩阵最小特征值 $\mu$ 所衡量的逻辑损失局部曲率？
• RQ3 在界定收敛速率时，能否避免对线性预测器范围（如 $e^U$）的指数依赖？
• RQ4 在常数步长下，ASGD 是否可能在逻辑回归中实现 $O(R^2/\mu N)$ 的收敛速率，而无需全局强凸性假设？

主要发现

• 当 $\mu\sqrt{N}/R \geq 500$ 时，平均迭代的期望平方误差满足 $\mathbb{E}\|\bar{\theta}_N - \theta_*\|^2 \leq \frac{R^2}{N\mu^2}(6\alpha + 21)^4$，其中 $\alpha = R\|\theta_0 - \theta_*\|$。
• 当 $\mu > R^2/\sqrt{N}$ 时，收敛速率从 $O(1/\sqrt{N})$ 提升至 $O(R^2/\mu N)$，表明对局部强凸性的自适应性。
• 改进的速率通过 $1/R^2\sqrt{N}$ 量级的常数步长实现，且分析中避免了类似 $e^U$ 的指数因子，这些因子常出现在类似界中。
• 由于逻辑损失的自协和性，该结果可推广至所有特征有界一致的广义线性模型。
• 该分析适用于有限 $N$ 和常数步长，且可通过倍增技巧扩展至衰减步长情形。