[论文解读] An efficient Averaged Stochastic Gauss-Newton algorithm for estimating parameters of non linear regressions models

Peggy Cénac, Antoine Godichon‐Baggioni+1 more|arXiv (Cornell University)|Jun 23, 2020

Gaussian Processes and Bayesian Inference参考文献 30被引用 9

一句话总结

该论文提出了一种平均随机高斯-牛顿（ASGN）算法，用于在具有顺序性、高容量数据的非线性回归模型中实现高效的参数估计。通过将高斯-牛顿方法与在线更新及平均化相结合，该方法在标准误差值尺度不匹配的病态条件下实现了渐近效率和改进的收敛性，而传统随机梯度方法在此类条件下会因海森矩阵特征值尺度不匹配而失效。

ABSTRACT

Non linear regression models are a standard tool for modeling real phenomena, with several applications in machine learning, ecology, econometry... Estimating the parameters of the model has garnered a lot of attention during many years. We focus here on a recursive method for estimating parameters of non linear regressions. Indeed, these kinds of methods, whose most famous are probably the stochastic gradient algorithm and its averaged version, enable to deal efficiently with massive data arriving sequentially. Nevertheless, they can be, in practice, very sensitive to the case where the eigen-values of the Hessian of the functional we would like to minimize are at different scales. To avoid this problem, we first introduce an online Stochastic Gauss-Newton algorithm. In order to improve the estimates behavior in case of bad initialization, we also introduce a new Averaged Stochastic Gauss-Newton algorithm and prove its asymptotic efficiency.

研究动机与目标

• 解决随机梯度方法在非线性回归参数估计中对海森矩阵特征值尺度变化敏感的问题。
• 开发一种适用于大规模、顺序到达数据流的递归在线算法。
• 通过引入随机高斯-牛顿方法的平均版本，改善在不良初始化下的收敛行为。
• 在一般正则性和矩条件假设下，建立所提算法的几乎必然渐近效率与收敛速率。

提出的方法

• 提出一种基于递归矩阵求逆（利用Sherman-Morrison公式）的在线随机高斯-牛顿算法，用于更新海森矩阵逆的近似值。
• 提出一种新型的平均随机高斯-牛顿（ASGN）算法，通过随时间对参数估计值进行平均，以提升稳定性和收敛性。
• 采用随时间变化的步长序列，并设定特定的衰减率，以平衡探索与收敛。
• 利用鞅差序列和条件数学期望技术分析估计误差的行为。
• 应用Robbins-Siegmund随机逼近定理，证明误差项的几乎必然收敛性。
• 通过一个关于带算子权值和缓慢衰减方差的平均鞅序列的新定理，推导出收敛速率。

实验结果

研究问题

• RQ1 能否设计一种随机高斯-牛顿方法，以处理具有顺序数据的非线性回归模型，同时对病态海森矩阵保持鲁棒性？
• RQ2 在随机高斯-牛顿框架中，对参数估计值进行平均如何改善收敛性并降低对初始化的敏感性？
• RQ3 在一般正则性和矩假设下，参数估计的几乎必然收敛速率是什么？
• RQ4 该算法是否能在不存储所有历史数据的前提下，实现与批量方法相当的渐近效率？

主要发现

• 在标准正则性和矩条件下，平均随机高斯-牛顿（ASGN）算法的参数估计值几乎必然收敛到真实参数值。
• 与标准随机梯度方法相比，该算法在海森矩阵特征值差异显著的情况下表现出更强的初始化鲁棒性。
• 估计误差几乎必然有界于 $ \mathcal{O}(n^{-1}v_n^{-2} \ln n) $，收敛速率取决于步长序列的衰减速率和海森矩阵的条件数。
• 理论分析证实了渐近效率，即在正则性条件下，估计量在极限下达到Cramér-Rao下界。
• 通过仅递归更新海森矩阵逆的近似值和参数估计值，该算法避免了完整数据存储，保持了计算效率。
• 当海森矩阵条件良好时，收敛速率进一步提升，且平均机制能有效抑制梯度估计中的噪声。