[论文解读] A Continuous-time Stochastic Gradient Descent Method for Continuous Data

Kexin Jin, Jonas Latz+2 more|arXiv (Cornell University)|Dec 7, 2021

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出一种连续时间随机梯度过程（SGP），用于在连续数据上进行优化，其中目标函数的索引由一个随机过程（如反射扩散或Lévy过程）控制。该方法在学习率递减时实现收敛，并在实验中表现出改进的泛化性能，尤其在物理信息神经网络和函数回归任务中表现突出。

ABSTRACT

Optimization problems with continuous data appear in, e.g., robust machine learning, functional data analysis, and variational inference. Here, the target function is given as an integral over a family of (continuously) indexed target functions - integrated with respect to a probability measure. Such problems can often be solved by stochastic optimization methods: performing optimization steps with respect to the indexed target function with randomly switched indices. In this work, we study a continuous-time variant of the stochastic gradient descent algorithm for optimization problems with continuous data. This so-called stochastic gradient process consists in a gradient flow minimizing an indexed target function that is coupled with a continuous-time index process determining the index. Index processes are, e.g., reflected diffusions, pure jump processes, or other Lévy processes on compact spaces. Thus, we study multiple sampling patterns for the continuous data space and allow for data simulated or streamed at runtime of the algorithm. We analyze the approximation properties of the stochastic gradient process and study its longtime behavior and ergodicity under constant and decreasing learning rates. We end with illustrating the applicability of the stochastic gradient process in a polynomial regression problem with noisy functional data, as well as in a physics-informed neural network.

研究动机与目标

• 解决在连续数据空间上优化期望值目标的挑战，其中传统离散随机梯度下降（SGD）方法不可行或次优。
• 构建一个连续时间框架，将索引选择建模为随机过程，支持实时或流式数据集成。
• 分析在恒定和递减学习率下，随机梯度过程的遍历性与收敛性特性。
• 在多项式回归与物理信息神经网络（PINNs）等实际应用中，验证该方法的有效性。

提出的方法

• 将优化问题表述为在波兰空间S上对一族函数的积分进行最小化，其中完整的目标函数定义为关于概率测度π的期望。
• 提出一种连续时间随机梯度过程（SGP），其中索引y在紧致索引空间S上作为马氏过程（如反射扩散、纯跳过程或Lévy过程）演化。
• 将SGP定义为一个耦合系统：参数空间θ中的梯度流与y中的随机索引过程，其中梯度在(θ, y(t))处计算。
• 引入学习率调度μ(t) = 1/η(t)，其满足确保收敛的条件，尤其适用于递减学习率。
• 利用Fokker-Planck方程分析联合过程(θ(t), y(t))的长期行为与平稳性。
• 通过数值SDE求解器（如Euler-Maruyama）实现该方法，实验中采用自适应学习率与Adam优化器。

实验结果

研究问题

• RQ1 如何将随机梯度下降推广到索引为连续分布而非离散的连续数据空间？
• RQ2 在恒定与递减学习率下，连续时间随机梯度过程的收敛性与遍历性特性是什么？
• RQ3 不同的采样模式（如反射布朗运动与纯跳过程）如何影响隐式正则化与泛化性能？
• RQ4 SGP框架能否有效应用于连续数据问题，如函数数据分析与物理信息神经网络？
• RQ5 与使用固定小批量的标准SGD相比，动态连续采样对优化稳定性与收敛速度有何影响？

主要发现

• 在凸性与可积性假设下，当学习率递减至零时，随机梯度过程收敛至完整目标函数的最小值点。
• 在恒定学习率下，SGP在联合状态空间上收敛于一个平稳分布，表现出遍历行为。
• 在多项式回归实验中，SGPC（采用反射布朗运动）与SGPD（采用递减学习率）的测试均方误差分别为3.5×10⁻⁴与2.8×10⁻⁴，优于标准SGD（4.5×10⁻⁴）。
• SGPD在训练损失上的收敛速度优于SGD与SGPC，尤其得益于自适应学习率调度。
• 在PINN实验中，SGP框架的泛化性能优于标准SGD，可能归因于动态数据采样模式引入了隐式正则化。
• 该方法对流式或模拟数据具有鲁棒性，因为索引过程可实时生成，无需预采样或固定批次。