[论文解读] Tight Bounds for Logistic Regression with Large Stepsize Gradient Descent in Low Dimension

Michael Crawshaw, Mingrui Liu|arXiv (Cornell University)|Feb 12, 2026

Stochastic Gradient Optimization Techniques被引用 0

一句话总结

论文分析在两维逻辑回归中使用大步长梯度下降的表现，证明一旦进入稳定阶段，收敛速率 F(wT) ≤ O(1/(η γ^2 T))，并给出关于转变时间 τ 的匹配下界。

ABSTRACT

We consider the optimization problem of minimizing the logistic loss with gradient descent to train a linear model for binary classification with separable data. With a budget of $T$ iterations, it was recently shown that an accelerated $1/T^2$ rate is possible by choosing a large step size $η= Θ(γ^2 T)$ (where $γ$ is the dataset's margin) despite the resulting non-monotonicity of the loss. In this paper, we provide a tighter analysis of gradient descent for this problem when the data is two-dimensional: we show that GD with a sufficiently large learning rate $η$ finds a point with loss smaller than $\mathcal{O}(1/(ηT))$, as long as $T \geq Ω(n/γ+ 1/γ^2)$, where $n$ is the dataset size. Our improved rate comes from a tighter bound on the time $τ$ that it takes for GD to transition from unstable (non-monotonic loss) to stable (monotonic loss), via a fine-grained analysis of the oscillatory dynamics of GD in the subspace orthogonal to the max-margin classifier. We also provide a lower bound of $τ$ matching our upper bound up to logarithmic factors, showing that our analysis is tight.

研究动机与目标

• 了解在可分数据下使用大步长的 GD 对逻辑回归的行为。
• 在低维度中推导出更紧的、不稳定到稳定转变时间 τ 的界限。
• 刻画轨迹进入稳定阶段后的收敛速率。
• 给出近紧的下界以展示转变时间分析的最优性。

提出的方法

• 在 ∥xi∥ ≤ 1 且间隔 γ 的线性可分数据上对逻辑损失 F(w) 建模。
• 分析维度 d = 2 的固定步长 η 的 GD，初始 w0 = 0。
• 将权重分解为沿最大间隔方向 w* 及其正交分量；跟踪 ˆwt = ⟨wt, w*⟩ 与 ˜wt = ⟨wt, v*⟩。
• 定义子水平集 F(w) ≤ 1/8η，并在 GD 变为单调（稳定）时界定转变时间 τ。
• 在正交子空间对轨迹进行更精细的振荡分析，以得到 τ 的上界为 e^{O(n/γ + 1/γ^2)}，且与 η 无关。
• 通过困难数据集给出与之匹配的 τ 的对数因子下界。

实验结果

研究问题

• RQ1 在步长 η 较大时，GD 达到稳定阶段并使损失单调下降所需的转变时间 τ 是多少？
• RQ2 在二维逻辑回归设置中，是否可以将转变时间 τ 藉由 η 无关地进行界定？
• RQ3 进入稳定阶段后，使用大步长时的收敛速率为何？
• RQ4 关于数据集规模 n 和间隔 γ，τ 的上界与下界有多紧？

主要发现

• 当 T ≥ Ω(n/γ + 1/γ^2) 时，具有足够大的 η 的 GD 能找到损失值 ≤ O(1/(η γ^2 T)) 的点。
• 转变时间 τ 可以被界定为 τ ≤ O((n/γ + log(1/γ))/γ^2)，与 η 无关。
• 匹配的下界表明 τ = Ω(n/γ + 1/γ^2)（对数因子忽略），从而证明该界的紧性。
• 改进的界给予的收敛速率在 n 相对于 1/γ 的规模较大时可优于先前的 1/T^2 加速速率。
• 实验与讨论表明 τ 的界限可能扩展到严格的二维之外，在更高维度下也有数值证据。