[论文解读] Conservative set valued fields, automatic differentiation, stochastic gradient method and deep learning

Jérôme Bolte, Edouard Pauwels|arXiv (Cornell University)|Sep 23, 2019

Stochastic Gradient Optimization Techniques参考文献 48被引用 5

一句话总结

本文引入了保守集值场作为非光滑、非凸优化的广义导数框架，使深度学习中自动微分和随机梯度方法的严格分析成为可能。证明了ReLU网络中的反向传播产生保守场，在可定义结构假设下，小批量SGD以概率1收敛于临界点。

ABSTRACT

Modern problems in AI or in numerical analysis require nonsmooth approaches with a flexible calculus. We introduce generalized derivatives called conservative fields for which we develop a calculus and provide representation formulas. Functions having a conservative field are called path differentiable: convex, concave, Clarke regular and any semialgebraic Lipschitz continuous functions are path differentiable. Using Whitney stratification techniques for semialgebraic and definable sets, our model provides variational formulas for nonsmooth automatic differentiation oracles, as for instance the famous backpropagation algorithm in deep learning. Our differential model is applied to establish the convergence in values of nonsmooth stochastic gradient methods as they are implemented in practice.

研究动机与目标

• 开发一种广义微积分框架，适用于超出凸性和Clarke正则类的非光滑函数。
• 为深度学习中的自动微分算子提供理论基础，特别是针对ReLU等分段光滑激活函数。
• 在非光滑、非凸设置下，建立小批量随机梯度方法的收敛性保证。
• 将深度学习中的算法实践（如反向传播）与几何和模型论结构（如o-极小集和半代数集）联系起来。
• 在单一框架中统一变分分析、分层理论和数值算法，服务于人工智能与数值分析。

提出的方法

• 通过零环流性质引入保守集值场：对所有绝对连续闭合曲线γ，有∫₀¹⟨D(γ(t)), γ̇(t)⟩dt = {0}。
• 将路径可微函数定义为可赋予保守场的函数，包括凸函数、凹函数、Clarke正则函数以及Lipschitz半代数函数。
• 应用Whitney分层和o-极小结构，推导保守场的变分公式，推广Morse-Sard定理和Łojasiewicz不等式。
• 证明在可定义假设下，自动微分算子（如反向传播）产生保守场。
• 采用Benaïm-Hofbauer-Sorin风格的李雅普诺夫方法，分析离散随机动力系统的收敛性。
• 通过将各分量场的平均构造为保守场，将该框架应用于小批量SGD：D_f = (1/n)∑D_{f_i}。

实验结果

研究问题

• RQ1 能否发展一种广义导数概念，以支持人工智能与数值分析中非光滑、非凸问题的灵活微积分？
• RQ2 如何利用广义导数形式化证明深度学习中自动微分的合理性，特别是针对ReLU网络？
• RQ3 在非光滑、非凸设置下，小批量随机梯度下降在何种条件下收敛？
• RQ4 可定义结构与半代数结构在确保非光滑优化算法收敛性中起什么作用？
• RQ5 保守场能否用于将经典收敛结果（如Łojasiewicz不等式）推广至非光滑、分层设置？

主要发现

• 使用平方损失的ReLU网络中，反向传播产生保守场，确保算法动力学由保守对象控制。
• 在半代数或可定义网络中，使用反向传播的小批量随机梯度下降以概率1收敛于损失函数的BP_J-临界集。
• Clarke次微分是最小的凸保守场，且保守场几乎处处与经典梯度一致。
• 在可定义设置下，保守场可通过Whitney分解获得基于几何的变分分层公式，支持几何与动力学分析。
• 该框架将非光滑Kurdyka-Łojasiewicz不等式和Morse-Sard定理推广至可定义保守场。
• 通过先选择优化方法，再通过自动微分与可定义性假设匹配保守场，该框架实现了对ADAM和重球动量等多样化算法的收敛性分析。