[论文解读] Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms

Alexander Camuto, George Deligiannidis+4 more|arXiv (Cornell University)|Jun 9, 2021

Stochastic Gradient Optimization Techniques参考文献 27被引用 10

一句话总结

本文提出了一种新颖的框架，将随机优化算法的泛化性能与由随机迭代函数系统（RIFS）导出的不变测度的分形维数联系起来。通过将SGD等算法建模为RIFS，作者证明了泛化误差受到底层分形结构复杂度（Hausdorff维数）的限制，且显式边界取决于学习率、批量大小和Hessian几何结构。

ABSTRACT

Understanding generalization in deep learning has been one of the major challenges in statistical learning theory over the last decade. While recent work has illustrated that the dataset and the training algorithm must be taken into account in order to obtain meaningful generalization bounds, it is still theoretically not clear which properties of the data and the algorithm determine the generalization performance. In this study, we approach this problem from a dynamical systems theory perspective and represent stochastic optimization algorithms as random iterated function systems (IFS). Well studied in the dynamical systems literature, under mild assumptions, such IFSs can be shown to be ergodic with an invariant measure that is often supported on sets with a fractal structure. As our main contribution, we prove that the generalization error of a stochastic optimization algorithm can be bounded based on the `complexity' of the fractal structure that underlies its invariant measure. Leveraging results from dynamical systems theory, we show that the generalization error can be explicitly linked to the choice of the algorithm (e.g., stochastic gradient descent -- SGD), algorithm hyperparameters (e.g., step-size, batch-size), and the geometry of the problem (e.g., Hessian of the loss). We further specialize our results to specific problems (e.g., linear/logistic regression, one hidden-layered neural networks) and algorithms (e.g., SGD and preconditioned variants), and obtain analytical estimates for our bound.For modern neural networks, we develop an efficient algorithm to compute the developed bound and support our theory with various experiments on neural networks.

研究动机与目标

• 为了解决现代深度神经网络尽管容量高却仍能良好泛化的理论空白，通过整合数据和算法动态来构建泛化边界。
• 将SGD等随机优化算法建模为随机迭代函数系统（RIFS），以研究其长期不变测度。
• 建立这些不变测度的分形几何与训练模型泛化误差之间的联系。
• 推导出显式且非平凡的泛化边界，其依赖于算法超参数（如学习率、批量大小）和问题几何结构（如Hessian、数据分布）。

提出的方法

• 将随机优化算法正式建模为随机迭代函数系统（RIFS），其中每次迭代对应于基于小批量采样从有限集合中随机选取的函数。
• 利用动力系统理论证明，在温和条件下，RIFS收敛到唯一支持在分形集上的不变测度。
• 将泛化误差定义为经验风险与总体风险之差，并利用不变测度的Hausdorff维数对其进行边界限定。
• 通过李雅普诺夫指数和随机函数的压缩性质，推导出不变测度Hausdorff维数的上界。
• 利用分形维数的边界，通过信息论和几何论证，推导出显式且依赖于算法与数据的泛化误差边界。
• 开发一种高效算法，用于计算现代神经网络的基于分形维数的边界，从而实现经验验证。

实验结果

研究问题

• RQ1 如何从理论上将随机优化算法的泛化性能与其中不变测度的几何复杂度联系起来？
• RQ2 由算法动态诱导的不变测度的分形结构在决定泛化误差中起什么作用？
• RQ3 能否通过分形维数推导出显式依赖于算法超参数（如学习率、批量大小）和数据几何结构（如损失函数的Hessian）的泛化边界？
• RQ4 理论边界与现代神经网络中的经验泛化误差相比如何？
• RQ5 能否高效估计不变测度的分形维数，并将其用作泛化性能的实际代理指标？

主要发现

• 随机优化算法的泛化误差受到其对应随机迭代函数系统（RIFS）的不变测度的Hausdorff维数的限制。
• 对于固定学习率的SGD，不变测度支持在分形集上（例如Cantor型），其Hausdorff维数由 $ \frac{b \log(n/b)}{\log(1 / (1 - \eta M^{-1}\lambda + \frac{1}{4}\eta m^{-1}R^2))} $ 限定，其中 $ \lambda $ 是Hessian的最小特征值。
• 在线性回归和逻辑回归中，边界简化为 $ \frac{\log(n/b)}{\log(1 / (1 - \eta M^{-1}\lambda_r + \eta m^{-1}R^2 \cdot 2/t_0))} $，显式依赖于损失函数的曲率。
• 对于单隐层神经网络，边界依赖于Hessian的谱性质和激活函数的二阶导数，其中 $ \overline{\dim}_{\mathrm{H}}\mu_{W|\mathbf{S}_n} \leq \frac{\log(n/b)}{\log(1 / (1 - \eta M^{-1}\lambda + \eta m^{-1}R^2 / (4\rho)))} $。
• 推导出的边界是非平凡的，且显式依赖于算法选择（学习率、批量大小）和数据几何结构（Hessian、特征范数）。
• 开发了一种高效算法，用于计算深层网络的基于分形维数的边界，实验结果证实其与经验泛化误差具有相关性。