[论文解读] Convergence Analyses of Online ADAM Algorithm in Convex Setting and Two-Layer ReLU Neural Network

Biyi Fang, Diego Klabjan|arXiv (Cornell University)|May 22, 2019

Machine Learning and ELM参考文献 25被引用 5

一句话总结

本文提出一种新颖的遗憾度量——滚动窗口遗憾（regret with rolling window），用于无限数据流中的在线学习，提出适用于凸函数与两层ReLU神经网络设置的自适应在线算法（convgAdam 和 dnnAdam），在两种情形下均实现 O(√T) 的遗憾界。作者建立了理论收敛保证，并通过实证结果证明所提方法在性能上优于基线方法。

ABSTRACT

Nowadays, online learning is an appealing learning paradigm, which is of great interest in practice due to the recent emergence of large scale applications such as online advertising placement and online web ranking. Standard online learning assumes a finite number of samples while in practice data is streamed infinitely. In such a setting gradient descent with a diminishing learning rate does not work. We first introduce regret with rolling window, a new performance metric for online streaming learning, which measures the performance of an algorithm on every fixed number of contiguous samples. At the same time, we propose a family of algorithms based on gradient descent with a constant or adaptive learning rate and provide very technical analyses establishing regret bound properties of the algorithms. We cover the convex setting showing the regret of the order of the square root of the size of the window in the constant and dynamic learning rate scenarios. Our proof is applicable also to the standard online setting where we provide the first analysis of the same regret order (the previous proofs have flaws). We also study a two layer neural network setting with ReLU activation. In this case we establish that if initial weights are close to a stationary point, the same square root regret bound is attainable. We conduct computational experiments demonstrating a superior performance of the proposed algorithms.

研究动机与目标

• 为解决在无限数据流中标准递减学习率失效的在线学习挑战。
• 引入一种新的性能度量——滚动窗口遗憾，用于评估算法在固定大小近期样本窗口内的表现。
• 设计适用于流数据的自适应在线优化算法（convgAdam、dnnAdam），支持常数或自适应学习率。
• 在新度量下，理论证明凸函数与两层ReLU神经网络的 O(√T) 遗憾界。
• 通过实证验证所提算法在收敛性与稳定性方面优于现有在线梯度下降与标准Adam方法。

提出的方法

• 引入滚动窗口遗憾作为性能度量，用于评估在线算法在固定大小、滑动窗口内的近期样本表现。
• 提出 convgAdam，一种基于Adam风格自适应学习率的自适应在线子梯度方法，适用于一般严格凸函数。
• 设计 dnnGd 与 dnnAdam 用于两层ReLU神经网络，结合梯度缩放与基于平方梯度指数移动平均的自适应步长。
• 通过引入自适应方差项平方根（如 √ṽ₂,t）的变换，稳定更新并支持遗憾分析。
• 采用技术性遗憾分解与望远镜求和技巧，界定期望累积损失差与最优策略之间的差距。
• 引入对权重与梯度的有界性假设（如 W∞），以控制增长并推导出有限遗憾界。

实验结果

研究问题

• RQ1 聚焦于近期样本滚动窗口的遗憾度量，能否为无限数据流中的在线学习提供更现实的性能评估？
• RQ2 当使用滚动窗口度量而非标准遗憾时，能否为Adam等自适应在线算法建立理论遗憾界？
• RQ3 在滚动窗口遗憾框架下，能否在两层ReLU神经网络中实现 O(√T) 遗憾？
• RQ4 在非凸设置（如ReLU网络）中，自适应学习率相较于标准在线梯度下降表现如何？
• RQ5 标准在线算法需进行何种修改，才能在滚动窗口遗憾度量下保持收敛？

主要发现

• 所提的 convgAdam 算法在滚动窗口度量下，即使在标准递减学习率证明存在缺陷的情况下，仍可在凸设置中实现 O(√T) 遗憾界。
• 对于两层ReLU神经网络，若初始权重接近驻点，则使用 dnnAdam 同样可实现 O(√T) 遗憾界。
• 理论分析表明，遗憾受自适应方差项平方根之和的有界性控制，其增长为 O(√T)。
• 计算实验表明，convgAdam 与 dnnAdam 在收敛性与稳定性方面优于最先进的非自适应在线梯度下降（OGD）与标准Adam方法。
• 分析确认，常数或自适应学习率对滚动窗口遗憾至关重要，而递减学习率在无限流数据上会导致性能下降。
• 所推导的遗憾界依赖于权重与梯度的有界性（W∞），确保在所提算法框架下的稳定性。