[论文解读] Convergence of Unregularized Online Learning Algorithms

Yunwen Lei, Lei Shi+1 more|arXiv (Cornell University)|Aug 9, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用 5

一句话总结

该论文在无迭代值有界性假设的前提下，建立了再生核希尔伯特空间（RKHSs）中无正则化在线梯度下降的高概率收敛速率。它首次在一般凸设置下，为最后迭代点提供了显式的高概率收敛速率，方法是利用RKHS中的一步进展度量实现鞅方差抵消，并结合泛化误差分析。

ABSTRACT

In this paper we study the convergence of online gradient descent algorithms in reproducing kernel Hilbert spaces (RKHSs) without regularization. We establish a sufficient condition and a necessary condition for the convergence of excess generalization errors in expectation. A sufficient condition for the almost sure convergence is also given. With high probability, we provide explicit convergence rates of the excess generalization errors for both averaged iterates and the last iterate, which in turn also imply convergence rates with probability one. To our best knowledge, this is the first high-probability convergence rate for the last iterate of online gradient descent algorithms without strong convexity. Without any boundedness assumptions on iterates, our results are derived by a novel use of two measures of the algorithm's one-step progress, respectively by generalization errors and by distances in RKHSs, where the variances of the involved martingales are cancelled out by the descent property of the algorithm.

研究动机与目标

• 解决无正则化设置下在线梯度下降缺乏高概率收敛保证的问题。
• 克服对迭代值有界性假设的依赖，此类假设在实践中常被违反。
• 为平均迭代点和最后迭代点建立几乎必然收敛性及高概率收敛速率。
• 在不依赖强凸性或正则化的情况下建立收敛结果。
• 通过鞅和基于RKHS的分析，推导出以概率1成立的显式收敛速率。

提出的方法

• 引入两种一步算法进展度量：泛化误差和RKHS距离，以分析收敛性。
• 利用Doob的鞅收敛定理和Borel–Cantelli引理建立几乎必然收敛性。
• 通过利用算法的下降性质，在鞅差分中提出一种新颖的方差抵消技术。
• 在迭代值范数满足对数增长条件的假设下，使用集中不等式推导高概率界。
• 通过损失函数的Hölder-光滑性与核的有界性，采用自绑定论证来控制迭代值。
• 利用RKHS的结构和再生性质，对迭代值范数及梯度更新进行有界控制。

实验结果

研究问题

• RQ1 在何种步长条件下，可保证无正则化在线梯度下降的期望过剩泛化误差收敛？
• RQ2 能否在无正则化或有界性假设下，为在线梯度下降建立几乎必然收敛性？
• RQ3 在缺乏强凸性的情况下，最后迭代点的高概率收敛速率为何？
• RQ4 如何在无正则化的情况下，实现在线学习中鞅差分方差的抵消？
• RQ5 在最小假设下，能否为平均迭代点和最后迭代点推导出显式收敛速率？

主要发现

• 论文建立了期望过剩泛化误差收敛的充分必要步长条件。
• 首次在无正则化的一般凸设置下，为在线梯度下降的最后迭代点提供了高概率收敛速率。
• 以高概率，平均迭代点和最后迭代点的过剩泛化误差均以速率 $ O\left(\frac{\log^{3/2}(T/\delta)}{\sqrt{T}}\right) $ 衰减，这蕴含以概率1收敛。
• 即使无显式投影或有界性假设，迭代值仍以高概率保持有界。
• 通过在鞅差分中引入新颖的方差抵消机制，分析避免了正则化和有界性约束。
• 在仅假设损失函数的Hölder-光滑性与核有界性的最小假设下，推导出收敛速率。