[论文解读] Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study

Assaf Dauber, Meir Feder+2 more|arXiv (Cornell University)|Mar 13, 2020

Machine Learning and Algorithms参考文献 30被引用 7

一句话总结

本文研究隐性偏差是否能解释随机凸优化中SGD的泛化性能，重点分析SGD的泛化机制。通过构造反例，表明任何分布无关或广泛分布相关的正则化方法——包括强凸和范数相关的正则化——均无法一致地解释SGD的泛化行为，从而挑战了隐性偏差作为过参数化学习中通用泛化机制的普适性。

ABSTRACT

The notion of implicit bias, or implicit regularization, has been suggested as a means to explain the surprising generalization ability of modern-days overparameterized learning algorithms. This notion refers to the tendency of the optimization algorithm towards a certain structured solution that often generalizes well. Recently, several papers have studied implicit regularization and were able to identify this phenomenon in various scenarios. We revisit this paradigm in arguably the simplest non-trivial setup, and study the implicit bias of Stochastic Gradient Descent (SGD) in the context of Stochastic Convex Optimization. As a first step, we provide a simple construction that rules out the existence of a \emph{distribution-independent} implicit regularizer that governs the generalization ability of SGD. We then demonstrate a learning problem that rules out a very general class of \emph{distribution-dependent} implicit regularizers from explaining generalization, which includes strongly convex regularizers as well as non-degenerate norm-based regularizations. Certain aspects of our constructions point out to significant difficulties in providing a comprehensive explanation of an algorithm's generalization performance by solely arguing about its implicit regularization properties.

研究动机与目标

• 检验隐性正则化是否能普遍解释过参数化模型中的泛化性能，特别是在随机凸优化（SCO）中的表现。
• 排除在随机凸优化中控制SGD行为的分布无关隐性正则化器存在的可能性。
• 研究分布相关的正则化器——尤其是强凸或范数相关的正则化器——是否能解释随机凸优化中的泛化行为。
• 通过显式构造，揭示仅通过隐性正则化解释泛化性能的根本局限性。
• 证明即使在简单的凸设置中，SGD也可能避免被常见正则化器青睐的解。

提出的方法

• 构造一个单一光滑凸函数的分布，其中SGD不会收敛到欧几里得范数最近的最小化点，从而排除分布无关的隐性正则化。
• 在具有最小化点平台的函数上使用固定步长的梯度下降，展示其在L2范数下偏离最近解的现象。
• 应用浓度不等式和反射原理，界定SGD逃逸到最优解附近期望区域之外的概率。
• 引入训练数据的随机扰动以生成耦合样本 $ S' $，从而在不同条件下比较SGD的行为。
• 使用Hoeffding不等式和对引理2（高斯尾部界限）的修改版本，控制参数路径偏离期望区域的偏差。
• 结合多个误差事件（$ E_1 $, $ E_2 $, $ E $）的界限，推导出SGD未能收敛到良好正则化解的高概率上界。

实验结果

研究问题

• RQ1 是否存在一个分布无关的隐性正则化器，能够解释随机凸优化中SGD的泛化性能？
• RQ2 强凸或范数相关的正则化器是否能解释随机凸优化中SGD的泛化行为？
• RQ3 即使正则化器依赖于数据分布，是否仍存在通过隐性正则化解释SGD泛化的根本局限性？
• RQ4 能否证明SGD在简单凸设置中也会避开被常见正则化器青睐的解？
• RQ5 此类失败对过参数化学习中隐性正则化理论的更广泛影响是什么？

主要发现

• 本文构造了一个单一光滑凸函数的分布，其中SGD不会收敛到欧几里得范数最近的最小化点，从而排除了任何分布无关的隐性正则化器。
• 研究证明，即使使用固定步长的梯度下降，也可能无法收敛到L2范数最近的最小化点，挑战了L2正则化是SGD隐性偏差的普遍观点。
• 作者排除了包括所有强凸和非退化范数相关正则化器在内的广泛分布相关正则化器类别，使其无法解释在维度与样本量相当的设定下的泛化行为。
• 通过概率界限分析，论文表明SGD逃逸到最优解附近期望区域之外的概率随 $ rac{eta c}{32} $ 指数衰减，其中 $ c = heta( ext{步长} imes ext{sqrt}(T)) $，表明在某些条件下失败概率很高。
• 分析表明，SGD的泛化性能无法完全由隐性正则化解释，尤其是在正则化器依赖于数据分布时。
• 结果表明，隐性偏差本身可能不足以解释现代学习算法中的泛化性能，凸显了发展替代理论框架的必要性。