[论文解读] Exponential convergence of testing error for stochastic gradient methods

Loucas Pillaud‐Vivien, Alessandro Rudi+1 more|arXiv (Cornell University)|Dec 13, 2017

Stochastic Gradient Optimization Techniques被引用 13

一句话总结

该论文在条件概率远离1/2的强边缘条件（strong margin condition）下，建立了带正定核与平方损失的二分类问题中随机梯度下降（SGD）测试误差的指数收敛。作者推导了平均SGD的精确高概率界，表明在低噪声假设下，即使在无限维再生核希尔伯特空间（reproducing kernel Hilbert space, RKHS）中，分类误差也随样本量呈指数衰减。

ABSTRACT

We consider binary classification problems with positive definite kernels and square loss, and study the convergence rates of stochastic gradient methods. We show that while the excess testing loss (squared loss) converges slowly to zero as the number of observations (and thus iterations) goes to infinity, the testing error (classification error) converges exponentially fast if low-noise conditions are assumed.

研究动机与目标

• 分析带平方损失和正定核的二分类问题中随机梯度下降（SGD）的收敛行为。
• 弥合过度测试损失收敛缓慢与测试误差（0-1损失）在有利数据条件下收敛更快之间的差距。
• 在条件概率远离1/2的强边缘条件下，建立测试误差的指数收敛速率。
• 推导平均SGD的新高概率浓度界，支持非参数、无限维设置下的指数收敛。

提出的方法

• 在再生核希尔伯特空间（RKHS）中形式化学习问题，采用平方损失，通过基于核的正则化解建模最优预测器。
• 提出一种新颖的学习问题形式化方法，使指数估计速率独立于优化算法。
• 通过误差动态的递归分析，推导平均SGD迭代的精确高概率界。
• 应用改进的Robbins-Monro随机逼近框架，结合噪声假设（H3）和海森矩阵与噪声协方差的有界性条件（H4）。
• 采用边缘条件（A7），限制决策边界附近输入的概率，从而加速从损失到误差的转移。
• 对SGD迭代采用尾部平均策略（¯gn），以改善集中性，并在弱于强凸性的假设下实现指数速率。

实验结果

研究问题

• RQ1 在低噪声条件下，SGD能否在二分类问题中实现测试误差的指数收敛？
• RQ2 数据分布的何种条件（如边缘行为）可使分类误差在损失收敛不佳的情况下仍实现指数收敛？
• RQ3 平均SGD的高概率界如何改善非参数核方法中的泛化性能？
• RQ4 在无限维RKHS设置下，能否在不依赖强凸性或参数假设的前提下实现指数收敛？
• RQ5 边缘条件在加速测试误差相对于过度测试损失的收敛中起到何种作用？

主要发现

• 在强边缘条件（A7）下，即P(|g∗| ≤ 2δ) ≤ δ^α，测试误差随样本量n呈指数快速收敛。
• 过度测试误差E[R(¯gtail_n) − R∗]被界为C_α,β · n^{−α·qγ,β}，当α和γ有利时，表现出指数衰减。
• 论文证明，即使过度测试损失收敛为次指数，平均SGD仍能实现分类误差的指数收敛。
• 推导出误差∥¯gn − gλ∥_H的高概率界，其速率为O(1/(n+1)γλ)，在适当参数选择下可实现指数衰减。
• 证明平均SGD的集中结果在弱于强凸性的假设下仍成立，依赖于边缘条件和源条件。
• 在附加技术假设（A8）和（A9）下，推导出显式收敛速率，将核算子的特征值衰减与最终速率相联系。