[论文解读] Stochastic Gradient Descent with Exponential Convergence Rates of Expected Classification Errors

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|Jun 14, 2018

Stochastic Gradient Optimization Techniques被引用 7

一句话总结

本文在再生核希尔伯特空间中，针对二分类问题，使用一大类可微的凸损失函数（如逻辑损失和指数损失），在强低噪声条件下，建立了随机梯度下降（SGD）和平均SGD的期望分类误差的指数收敛速率。关键贡献在于证明了SGD在训练后期分类误差呈指数快速收敛，而平均SGD则从训练初期即达到该速率，优于标准分析中的次线性收敛。

ABSTRACT

We consider stochastic gradient descent and its averaging variant for binary classification problems in a reproducing kernel Hilbert space. In the traditional analysis using a consistency property of loss functions, it is known that the expected classification error converges more slowly than the expected risk even when assuming a low-noise condition on the conditional label probabilities. Consequently, the resulting rate is sublinear. Therefore, it is important to consider whether much faster convergence of the expected classification error can be achieved. In recent research, an exponential convergence rate for stochastic gradient descent was shown under a strong low-noise condition but provided theoretical analysis was limited to the squared loss function, which is somewhat inadequate for binary classification tasks. In this paper, we show an exponential convergence of the expected classification error in the final phase of the stochastic gradient descent for a wide class of differentiable convex loss functions under similar assumptions. As for the averaged stochastic gradient descent, we show that the same convergence rate holds from the early phase of training. In experiments, we verify our analyses on the $L_2$-regularized logistic regression.

研究动机与目标

• 为解决在标准风险最小化仅给出次线性收敛率的情况下，对分类误差快速收敛的理论理解不足的问题。
• 将先前仅限于平方损失的指数收敛结果，从回归推广至一般二分类设置。
• 分析是否可使用标准的可微凸损失函数（如逻辑损失和指数损失）实现期望分类误差的指数收敛。
• 比较标准SGD与平均SGD在指数收敛起始时间上的收敛行为差异。
• 在不同低噪声条件下，对合成的线性可分数据集进行实验验证理论发现，使用$L_2$-正则化的逻辑回归。

提出的方法

• 分析在再生核希尔伯特空间（RKHS）中进行，假设贝叶斯分类器位于假设空间内。
• 施加强低噪声条件：条件标签概率在0.5附近均匀有界，即$\rho(Y=1|x) \in [0.5-\delta, 0.5+\delta]$，其中$\delta > 0$，确保数据分布中存在分类边界。
• 使用一大类可微、凸损失函数（如逻辑损失、指数损失、平滑合页损失）通过代理风险最小化来近似分类误差。
• 对于标准SGD，证明了在训练后期，期望分类误差的指数收敛性，依赖于低噪声条件和损失函数的光滑性。
• 对于平均SGD，分析表明由于平均效应降低了方差并稳定了迭代点，指数收敛从训练早期即开始。
• 通过在噪声水平可控的合成二维线性可分数据集上进行实验，验证了理论结果，实验中使用$L_2$-正则化的逻辑回归。

实验结果

研究问题

• RQ1 在二分类问题中，使用一般可微凸损失函数时，能否在随机梯度下降中实现期望分类误差的指数收敛？
• RQ2 强低噪声条件是否即使在期望风险仅呈现次线性收敛时，也能实现分类误差的指数收敛？
• RQ3 平均SGD与标准SGD相比，其指数收敛的起始时间有何差异？
• RQ4 在受控低噪声条件下，$L_2$-正则化的逻辑回归中，理论指数收敛速率是否可在实验中观察到？
• RQ5 在强低噪声假设下，正则化参数$\lambda$的选择是否显著影响分类误差的收敛速度？

主要发现

• 在强低噪声条件下，对于一大类可微凸损失函数（包括逻辑损失和指数损失），标准SGD在训练后期实现了期望分类误差的指数收敛。
• 平均SGD的期望分类误差收敛速率从训练初期即为指数级，而标准SGD仅在训练后期才实现指数收敛，表明平均SGD具有更优的收敛起始特性。
• 当$\delta = 0.4$时，分类误差收敛速度显著快于损失函数本身，且贝叶斯分类器在更早迭代中即被达到，表明在高噪声边界下存在显著加速。
• 在训练后期，过量分类误差与过量风险的比值迅速下降，证实了在强低噪声条件下，分类误差收敛速度超过风险最小化。
• 在合成线性可分数据集上的实验结果表明，$\delta$值越大，分类误差收敛越快，$\delta = 0.4$时在更少迭代次数内即达到近似最优性能。
• 理论收敛速率与先前使用平方损失的研究结果（Pillaud-Vivien et al., 2017）一致，但现已被推广至更适用于分类问题的损失函数，且未降低收敛速率。