[论文解读] On the Convergence of Stochastic Gradient Descent for Nonlinear Ill-Posed Problems

Bangti Jin, Zehui Zhou+1 more|arXiv (Cornell University)|Jul 6, 2019

Numerical methods in inverse problems参考文献 28被引用 5

一句话总结

本文建立了随机梯度下降（SGD）在希尔伯特空间中非线性不适定反问题上的正则化性质和收敛速率。在切锥条件与源表示条件下，证明了在先验停止规则和范围不变性假设下，SGD具有收敛速率，展示了其在大规模反问题中的有效性。

ABSTRACT

In this work, we analyze the regularizing property of the stochastic gradient descent for the efficient numerical solution of a class of nonlinear ill-posed inverse problems in Hilbert spaces. At each step of the iteration, the method randomly chooses one equation from the nonlinear system to obtain an unbiased stochastic estimate of the gradient, and then performs a descent step with the estimated gradient. It is a randomized version of the classical Landweber method for nonlinear inverse problems, and it is highly scalable to the problem size and holds significant potentials for solving large-scale inverse problems. Under the canonical tangential cone condition, we prove the regularizing property for a priori stopping rules, and then establish the convergence rates under suitable sourcewise condition and range invariance condition.

研究动机与目标

• 建立随机梯度下降（SGD）在希尔伯特空间中非线性不适定反问题上的正则化性质。
• 在适当的源条件和范围不变性下，分析SGD在先验停止规则下的收敛速率。
• 将SGD的理论理解从机器学习领域拓展至大规模反问题，特别是处理海量数据的场景。
• 在标准切锥条件下提供严格的收敛性分析，弥合迭代正则化与随机优化之间的差距。

提出的方法

• 将SGD应用于非线性算子方程组 $ F_i(x) = y_i^\flat $，$ i=1,\dots,n $，其中包含噪声数据 $ y^\delta $，每轮迭代随机选取一个方程进行计算。
• 在每一步中，仅使用一个随机选取的方程 $ F_{i_k}(x_k^\delta) $ 计算随机梯度估计，从而降低每轮迭代的计算成本。
• 更新规则为 $ x_{k+1}^\delta = x_k^\delta - \eta_k F_{i_k}'(x_k^\delta)^*(F_{i_k}(x_k^\delta) - y_{i_k}^\delta) $，类似于随机化Landweber方法。
• 收敛性分析依赖于切锥条件、源表示和范围不变性，以控制误差传播。
• 采用先验停止规则，通过涉及 $ \varrho $、$ \delta $ 和步长 $ \eta_k $ 的累积误差项估计推导收敛速率。
• 理论界通过递推不等式和Beta函数的性质推导，对 $ k $ 中误差项的衰减速率进行精细控制。

实验结果

研究问题

• RQ1 在切锥条件下，随机梯度下降是否对非线性不适定反问题表现出正则化性质？
• RQ2 在源表示和范围不变性条件下，SGD对这类问题能达到何种收敛速率？
• RQ3 与经典Landweber迭代相比，SGD的收敛行为在误差衰减和可扩展性方面有何差异？
• RQ4 在适当的源条件下，先验停止规则是否能确保收敛到真实解？
• RQ5 范围不变性条件在非线性反问题中对SGD收敛速率的保证中起什么作用？

主要发现

• 在切锥条件和先验停止规则下，随机梯度下降方法对非线性不适定问题具有正则化性质。
• 在源表示和范围不变性条件下，建立了 $ O(k^{-\beta/2}) $ 阶的收敛速率，其中 $ \beta \in (0,1) $。
• 误差界依赖于源条件参数 $ \varrho $、噪声水平 $ \delta $ 以及步长 $ \eta_k \sim k^{-\alpha} $ 的衰减速率，其中 $ \alpha \in (0,1) $。
• 分析表明，迭代中累积误差项的衰减为 $ O((k+1)^{-\beta/2}) $，常数依赖于问题参数和初始误差。
• 范围不变性条件确保了Fréchet导数的范围在迭代过程中保持稳定，这对收敛速率的推导至关重要。
• 理论界通过递推估计和Beta函数的性质推导，对误差项在 $ k $ 中的衰减实现了显式控制。