[论文解读] Information-Theoretic Generalization Bounds for Stochastic Gradient Descent

Gergely Neu, Gintare Karolina Dziugaite+2 more|arXiv (Cornell University)|Feb 1, 2021

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

本文通过分析SGD迭代过程中的'虚拟'扰动，提出了一种无需显式注入噪声的信息论泛化界，对随机梯度下降（SGD）进行了信息论推广。该界依赖于局部梯度方差、梯度对扰动的敏感性以及SGD路径上最终输出的敏感性，提供了一套新颖的分析框架，避免了SGLD等随机变体带来的性能折损。

ABSTRACT

We study the generalization properties of the popular stochastic optimization method known as stochastic gradient descent (SGD) for optimizing general non-convex loss functions. Our main contribution is providing upper bounds on the generalization error that depend on local statistics of the stochastic gradients evaluated along the path of iterates calculated by SGD. The key factors our bounds depend on are the variance of the gradients (with respect to the data distribution) and the local smoothness of the objective function along the SGD path, and the sensitivity of the loss function to perturbations to the final output. Our key technical tool is combining the information-theoretic generalization bounds previously used for analyzing randomized variants of SGD with a perturbation analysis of the iterates.

研究动机与目标

• 开发针对标准SGD的泛化界，避免依赖会降低性能的随机扰动。
• 识别控制非凸设置下泛化性能的局部、数据相关因素，如梯度方差与敏感性。
• 通过引入虚拟扰动技术，将信息论分析扩展至标准SGD，实现跨迭代的互信息分解。
• 提供不依赖全局Lipschitz或光滑性假设的泛化界，优于以往基于稳定性的方法。
• 提出一种新分析框架，或可启发未来对迭代优化算法的分析。

提出的方法

• 在分析中引入SGD迭代的虚拟扰动，使信息论工具可应用而不修改算法本身。
• 利用相对熵的链式法则，分解训练数据与最终模型参数之间在各迭代间的互信息。
• 将局部梯度方差定义为沿SGD路径评估的随机梯度的方差，避免全局Lipschitz约束。
• 通过模型参数轨迹上梯度对扰动的敏感性来表征梯度敏感性。
• 分析最终损失输出对模型参数扰动的敏感性，将其与泛化误差关联。
• 推导出依赖于沿SGD路径的局部梯度方差、梯度敏感性与输出敏感性之和的泛化界。

实验结果

研究问题

• RQ1 能否在不显式注入噪声的情况下，为标准SGD推导出信息论泛化界？
• RQ2 SGD轨迹的哪些局部、路径相关统计量控制了非凸优化中的泛化误差？
• RQ3 如何利用虚拟扰动将互信息分解应用于标准SGD？
• RQ4 SGD路径上的梯度方差与敏感性项是否能提供有意义且可解释的泛化界？
• RQ5 所提出的分析能否避免SGLD等随机变体的性能下降，同时保持理论严谨性？

主要发现

• 所提出的泛化界依赖于三个局部因素：沿SGD路径的随机梯度方差、梯度对模型参数扰动的敏感性，以及最终损失对模型参数扰动的敏感性。
• 该界在不依赖全局Lipschitz或光滑性条件的前提下推导得出，使其适用于全局Lipschitz或光滑性假设常被违反的深度学习场景。
• 该分析引入了虚拟扰动技术，使信息论界可应用于标准SGD，避免了SGLD中显式噪声带来的性能代价。
• 该界对所有噪声分布均成立，无需为算法中的噪声调整超参数。
• 关键技术突破在于：通过将相对熵的链式法则应用于虚拟扰动后的迭代，实现噪声分解，从而支持互信息分析。
• 该结果被视为理解SGD泛化性的第一步，其局限性在于难以通过实验验证，且尚无清晰解释为何SGD轨迹会产生这些项的较小取值。