[论文解读] Incremental Learning-to-Learn with Statistical Guarantees

Giulia Denevi, Carlo Ciliberto+2 more|arXiv (Cornell University)|Mar 21, 2018

Machine Learning and Algorithms被引用 17

一句话总结

该论文提出了一种用于岭回归的增量式元学习框架，采用投影随机次梯度算法来优化参数化特征表示的正定矩阵。该方法建立了超额迁移风险的非渐近高概率界，表明其统计保证与批量方法相当，同时实现了在线、内存高效的顺序任务适应。

ABSTRACT

In learning-to-learn the goal is to infer a learning algorithm that works well on a class of tasks sampled from an unknown meta distribution. In contrast to previous work on batch learning-to-learn, we consider a scenario where tasks are presented sequentially and the algorithm needs to adapt incrementally to improve its performance on future tasks. Key to this setting is for the algorithm to rapidly incorporate new observations into the model as they arrive, without keeping them in memory. We focus on the case where the underlying algorithm is ridge regression parameterized by a positive semidefinite matrix. We propose to learn this matrix by applying a stochastic strategy to minimize the empirical error incurred by ridge regression on future tasks sampled from the meta distribution. We study the statistical properties of the proposed algorithm and prove non-asymptotic bounds on its excess transfer risk, that is, the generalization performance on new tasks from the same meta distribution. We compare our online learning-to-learn approach with a state of the art batch method, both theoretically and empirically.

研究动机与目标

• 开发一种增量式元学习算法，能够在不存储历史数据的情况下适应顺序到达的任务。
• 在在线设置下，为泛化性能（超额迁移风险）提供非渐近的统计保证。
• 将理论分析从批量元学习扩展到在线、增量学习场景。
• 通过避免存储历史数据集，确保计算效率，同时保持强泛化界。
• 证明在线性能可与最先进的批量方法在风险界方面相匹配或接近。

提出的方法

• 该方法使用投影随机次梯度算法（PSSA）来优化参数化岭回归特征变换的正定矩阵。
• 目标是最小化从元分布中抽取的未来任务的岭回归经验误差。
• 算法一次处理一个任务，通过每个新数据集的损失次梯度，增量式地更新表示矩阵。
• 更新规则包含对迹有界的正定矩阵集合的投影，以确保可行性与稳定性。
• 通过特征值分解和对特征值的软阈值化计算投影，可在 O(d³) 时间内求解，根值查找的代价为 O(d log d)。
• 理论分析利用在线凸优化和鞅集中不等式，推导出超额迁移风险的高概率界。

实验结果

研究问题

• RQ1 在线、增量式元学习算法能否实现与批量方法相当的统计保证？
• RQ2 在线算法的超额迁移风险在高概率下的行为如何？可建立何种收敛速率？
• RQ3 是否可能在不存储过去数据集的情况下维持强泛化性能？
• RQ4 投影随机次梯度方法在在线元学习设置中如何确保收敛性与稳定性？
• RQ5 该在线算法的理论界与批量元学习设置下的现有界相比如何？

主要发现

• 所提出的在线算法在超额迁移风险上实现了非渐近高概率界，其速率与先前的批量元学习方法一致。
• 该算法的遗憾界确保了随着任务数量的增加，表示矩阵以高概率收敛至最优。
• 理论分析确认，在线估计器的期望风险以依赖于任务数量和置信水平的速率收敛至最优风险。
• 投影步骤确保表示矩阵保持正定且迹有界，这对稳定性和泛化至关重要。
• 每次更新的计算成本主要由类似海塞矩阵的特征值分解主导，可通过高效的 O(d³) 方法求解。
• 定理15的界确保，在任务独立同分布采样下，在线估计器的平均风险以高概率收敛至最优风险。