[论文解读] Nonstationary Nonparametric Online Learning: Balancing Dynamic Regret and Model Parsimony

Amrit Singh Bedi, Alec Koppel+2 more|arXiv (Cornell University)|Sep 12, 2019

Advanced Bandit Algorithms Research参考文献 51被引用 7

一句话总结

该论文提出了一种基于再生核希尔伯特空间（RKHS）中压缩核方法的内存高效在线学习框架，适用于非平稳、非线性数据。通过结合函数在线梯度下降与贪婪子空间投影，该方法在损失变化量和函数路径长度方面实现了次线性动态遗憾增长，同时保持了有界的模型复杂度，从而在概念漂移条件下实现了可扩展的、自适应的非参数学习。

ABSTRACT

An open challenge in supervised learning is \emph{conceptual drift}: a data point begins as classified according to one label, but over time the notion of that label changes. Beyond linear autoregressive models, transfer and meta learning address drift, but require data that is representative of disparate domains at the outset of training. To relax this requirement, we propose a memory-efficient \emph{online} universal function approximator based on compressed kernel methods. Our approach hinges upon viewing non-stationary learning as online convex optimization with dynamic comparators, for which performance is quantified by dynamic regret. Prior works control dynamic regret growth only for linear models. In contrast, we hypothesize actions belong to reproducing kernel Hilbert spaces (RKHS). We propose a functional variant of online gradient descent (OGD) operating in tandem with greedy subspace projections. Projections are necessary to surmount the fact that RKHS functions have complexity proportional to time. For this scheme, we establish sublinear dynamic regret growth in terms of both loss variation and functional path length, and that the memory of the function sequence remains moderate. Experiments demonstrate the usefulness of the proposed technique for online nonlinear regression and classification problems with non-stationary data.

研究动机与目标

• 解决在线学习中的概念漂移挑战，即数据分布随时间变化，特别是在非线性和非参数设置下。
• 克服先前方法依赖离线数据或领域漂移先验知识的局限性。
• 开发一种内存高效的在线算法，在不依赖线性或参数假设的前提下，保持低遗憾。
• 在动态遗憾最小化与模型简洁性之间取得平衡，以确保在实时应用中的可扩展性。
• 利用带压缩表示的核方法，在非平稳环境中实现通用函数逼近。

提出的方法

• 将非平稳在线学习建模为使用动态比较器的在线凸优化，采用再生核希尔伯特空间（RKHS）中的函数动作。
• 应用在线梯度下降（OGD）的函数变体，在每个时间步基于瞬时损失梯度更新函数估计。
• 引入贪婪子空间投影以维护一组紧凑的核函数字典，防止随时间推移模型增长无界。
• 使用核正交匹配追踪（KOMP）算法，仅当新核函数与当前子空间的距离足够远时才选择添加新字典点，该距离由压缩预算 $\epsilon$ 控制。
• 利用覆盖数和损失的利普希茨连续性来界定模型阶数，证明字典点数量的增长最多为 $O((\eta/\epsilon)^p)$，从而确保内存效率。
• 推导出基于损失变化量和函数路径长度的遗憾界，证明在温和正则性条件下遗憾呈次线性增长。

实验结果

研究问题

• RQ1 非参数在线学习方法是否能在不依赖离线数据或领域漂移先验知识的前提下，在非平稳环境中实现次线性动态遗憾？
• RQ2 在函数空间为无穷维时，如何控制函数在线学习中的模型复杂度？
• RQ3 压缩预算 $\epsilon$、步长 $\eta$ 与核基模型中字典点最大数量之间的关系是什么？
• RQ4 与事后最优时变函数相比，基于函数OGD的贪婪投影方法在性能上能保持多大程度？
• RQ5 所提出的方法在时间分布变化的非线性回归与分类任务中是否具有泛化能力？

主要发现

• 所提方法在损失变化量和函数路径长度方面均实现了次线性动态遗憾，确保随时间推移平均遗憾趋于零。
• 模型阶数（字典点数量）被有界为 $O((\eta/\epsilon)^p)$，从而确保内存效率并防止无界增长。
• 该算法通过仅在新核函数与当前子空间的希尔伯特范数距离足够远时才添加新核函数，维持紧凑表示。
• 遗憾界依赖于损失的利普希茨常数 $C$ 和最小梯度幅值，模型扩展的下限距离为 $\epsilon/(\eta CH)$。
• 实验结果表明，在非平稳数据下的在线非线性回归与分类任务中，该方法表现有效，优于基线方法。
• 理论分析证实，在紧致输入空间和连续核假设下，模型增长受到控制，有限覆盖数确保了复杂度有界。