[论文解读] Active and Adaptive Sequential learning

Yuheng Bu, Jiaxun Lu+1 more|arXiv (Cornell University)|May 29, 2018

Machine Learning and Algorithms参考文献 16被引用 3

一句话总结

本文提出了一种主动且自适应的顺序学习框架，能够动态选择信息丰富的样本，并调整样本规模，以在时变机器学习问题中保持有界的超额风险。通过估计模型参数的变化速率，并结合使用主动采样的随机梯度下降方法，该方法在减少标注成本的同时实现了接近最优的性能，其有效性在合成数据和真实世界推荐数据上得到了验证。

ABSTRACT

A framework is introduced for actively and adaptively solving a sequence of machine learning problems, which are changing in bounded manner from one time step to the next. An algorithm is developed that actively queries the labels of the most informative samples from an unlabeled data pool, and that adapts to the change by utilizing the information acquired in the previous steps. Our analysis shows that the proposed active learning algorithm based on stochastic gradient descent achieves a near-optimal excess risk performance for maximum likelihood estimation. Furthermore, an estimator of the change in the learning problems using the active learning samples is constructed, which provides an adaptive sample size selection rule that guarantees the excess risk is bounded for sufficiently large number of time steps. Experiments with synthetic and real data are presented to validate our algorithm and theoretical results.

研究动机与目标

• 解决模型参数随时间缓慢变化、相邻步骤间变化有界的顺序机器学习问题。
• 通过在每个时间步从无标签数据池中主动选择最具信息量的样本，以减少标注成本。
• 自适应地确定每个时间步所需的样本数量，以确保超额风险有界。
• 利用主动学习样本估计模型参数的真实变化速率（$\rho$），从而实现自适应的样本规模选择。
• 在保持实际效率的同时，提供关于超额风险和样本复杂度的理论保证。

提出的方法

• 该算法基于过去模型估计和费舍尔信息构造的分布进行主动采样，优先选择信息量最大的样本。
• 使用随机梯度下降（SGD）方法，利用主动选择的标签更新模型参数。
• 从主动学习样本中构建一个新颖的估计量 $\hat{\rho}_t$，以几乎必然的方式上界估计真实变化速率 $\rho$。
• 利用估计的 $\hat{\rho}_t$ 自适应选择样本规模 $K_t$，以确保随时间推移超额风险保持有界。
• 该方法利用历史信息优化采样策略与模型更新，从而在时变环境中提升效率。
• 该框架被应用于合成回归任务以及基于Yelp数据的真实用户偏好追踪任务，采用逻辑回归进行建模。

实验结果

研究问题

• RQ1 主动学习能否与自适应样本规模选择有效结合，以在时变学习问题中保持有界的超额风险？
• RQ2 如何仅利用主动学习样本可靠地估计模型参数的变化速率 $\rho$？
• RQ3 估计的变化速率 $\hat{\rho}_t$ 与实际参数偏移 $\rho$ 之间的理论关系是什么？
• RQ4 与被动采样或随机采样策略相比，所提方法在超额风险和样本效率方面表现如何？
• RQ5 基于 $\hat{\rho}_t$ 推导出的自适应样本规模规则是否能保证在长时间序列的时间步中保持有界的超额风险？

主要发现

• 所提出的主动且自适应算法在顺序学习的最大似然估计中实现了接近最优的超额风险性能。
• 估计量 $\hat{\rho}_t$ 几乎必然收敛至真实变化速率 $\rho$ 的保守上界，从而实现可靠的样本规模自适应。
• 在合成回归实验中，该算法的超额风险始终保持有界，且在初始步骤后显著低于基线方法。
• 在Yelp数据集上，该算法仅使用每时间步13个自适应样本即实现了6%的分类错误率，优于基线方法。
• 随着 $\hat{\rho}_t$ 的收敛，由理论推导出的自适应样本规模随时间逐渐减小，体现了高效的资源利用。
• 由于 $\hat{\rho}_t$ 的保守估计，即使真实变化速率 $\rho$ 较大，该算法仍能保持较低的超额风险。