[论文解读] Data-Dependent Stability of Stochastic Gradient Descent

Ilja Kuzborskij, Christoph H. Lampert|arXiv (Cornell University)|Mar 5, 2017

Stochastic Gradient Optimization Techniques被引用 64

一句话总结

本文提出了一种与数据相关的 SGD 稳定性概念，并推导出依赖于初始化与数据分布的泛化界限，适用于凸和非凸损失。

ABSTRACT

We establish a data-dependent notion of algorithmic stability for Stochastic Gradient Descent (SGD), and employ it to develop novel generalization bounds. This is in contrast to previous distribution-free algorithmic stability results for SGD which depend on the worst-case constants. By virtue of the data-dependent argument, our bounds provide new insights into learning with SGD on convex and non-convex problems. In the convex case, we show that the bound on the generalization error depends on the risk at the initialization point. In the non-convex case, we prove that the expected curvature of the objective function around the initialization point has crucial influence on the generalization error. In both cases, our results suggest a simple data-driven strategy to stabilize SGD by pre-screening its initialization. As a corollary, our results allow us to show optimistic generalization bounds that exhibit fast convergence rates for SGD subject to a vanishing empirical risk and low noise of stochastic gradient.

研究动机与目标

• 为 SGD 超越最坏情况分析的基础，制定并形式化一种基于数据的稳定性概念。
• 推导在凸与非凸设置中，依赖于初始化与数据分布的 SGD 泛化界限。
• 展示在从低风险、曲率较小的目标函数区域出发时，稳定性如何提升。
• 利用数据依赖框架展示乐观界限与迁移学习含义。

提出的方法

• 定义依赖于算法参数和数据分布的平均稳定性（epsilon(theta)）。
• 推导定理 3：步长序列 alpha_t ~ c/sqrt(t) 的凸损失得到 epsilon(D, w1) 边界，涉及初始化风险和梯度噪声。
• 推导定理 4：非凸损失若 Hessian Lipschitz 且步长 alpha_t ~ c/t，得到 epsilon(D, w1) 边界，包含曲率和初始化风险。
• 给出推论，展示乐观泛化速率和迁移学习指引。
• 给出经验验证，将数据相关边界与在神经网络示例上的最坏情况边界进行比较。
• 讨论一个 HTL（Hypothesis Transfer Learning）应用，其中源假设用作初始化。
• 提出一个实用方案来选择有利的初始化以改善稳定性和迁移结果。

实验结果

研究问题

• RQ1 如何用基于数据的稳定性概念而非无分布假设来界定 SGD 的泛化？
• RQ2 初始化风险和局部曲率如何影响凸与非凸设置中 SGD 的稳定性和泛化？
• RQ3 数据相关的稳定性是否能带来乐观的快速收敛并为 SGD 初始化的迁移学习提供指引？
• RQ4 当源假设初始化 SGD 时，迁移学习情景如何影响稳定性界限？

主要发现

• 在凸设置中，SGD 稳定性边界依赖于初始化风险和梯度噪声。
• 在非凸设置中，初始化曲率（二阶信息）对泛化边界具有关键影响。
• 在非凸问题的经验测试中，数据相关边界比无分布假设边界更紧。
• 当经验风险消失时，存在乐观的泛化边界和快速收敛率。
• 一个有原则的迁移学习方法使用来自源假设的初始化以最小化稳定性边界。
• 证据表明 SGD 在曲率较小的区域更稳定，与深度学习观察一致。