[论文解读] Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels

Mohamad Amin Mohamadi, Wonho Bae+1 more|arXiv (Cornell University)|Jun 25, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文提出了一种基于神经正切核（NTK）的近似方法，以实现在深度神经网络中高效的事前主动学习，从而在无需完整微调的情况下，准确预测添加假设数据点后模型的变化。该方法在MNIST、SVHN、CIFAR10和CIFAR100数据集上实现了最先进性能，同时相比朴素的事前策略将计算量减少了100倍以上。

ABSTRACT

We propose a new method for approximating active learning acquisition strategies that are based on retraining with hypothetically-labeled candidate data points. Although this is usually infeasible with deep networks, we use the neural tangent kernel to approximate the result of retraining, and prove that this approximation works asymptotically even in an active learning setup -- approximating "look-ahead" selection criteria with far less computation required. This also enables us to conduct sequential active learning, i.e. updating the model in a streaming regime, without needing to retrain the model with SGD after adding each new data point. Moreover, our querying strategy, which better understands how the model's predictions will change by adding new data points in comparison to the standard ("myopic") criteria, beats other look-ahead strategies by large margins, and achieves equal or better performance compared to state-of-the-art methods on several benchmark datasets in pool-based active learning.

研究动机与目标

• 使计算成本高昂的事前主动学习策略在深度神经网络中变得实用。
• 解决短视采集函数的局限性，即无法预测新数据带来的长期模型改进。
• 将数据标注与模型微调解耦，实现快速标注的序列化主动学习。
• 证明在迭代主动学习中，NTK近似在无限宽度极限下与完整微调结果渐近等价。
• 证明基于NTK的事前策略优于现有事前方法和最先进短视方法。

提出的方法

• 使用神经正切核（NTK）近似深度神经网络行为，以预测在添加假设标注数据点后模型的输出。
• 利用NTK构建网络的线性化代理模型，实现在无需SGD更新的情况下快速评估采集函数。
• 应用共轭梯度核回归求解器，高效计算候选数据点上基于NTK的模型预测。
• 基于预期模型输出变化，构建事前采集函数，并通过NTK代理进行近似。
• 通过逐步用新标注数据更新NTK近似，实现标注与训练的解耦，避免完整微调。
• 证明在无限宽度极限下，NTK近似与完整微调在序列化主动学习中具有渐近等价性。

实验结果

研究问题

• RQ1 神经正切核能否高效近似添加假设标注数据点后的完整微调结果？
• RQ2 基于NTK的近似是否能在完整微调不可行的深度网络中实现准确的事前采集函数？
• RQ3 NTK近似能否通过解耦标注与SGD训练，支持序列化主动学习？
• RQ4 所提方法在标准基准测试上的性能与最先进主动学习基线相比如何？
• RQ5 NTK近似在合理宽度的网络中是否仍保持准确性，而不仅限于无限宽度极限？

主要发现

• 基于NTK的方法将事前采集的运行时间减少了100倍以上，相比朴素微调策略。
• 该方法优于所有现有事前策略，并在MNIST、SVHN、CIFAR10和CIFAR100上达到最先进性能。
• 使用NTK方法进行序列查询，在第3轮循环时MNIST准确率已达96%，优于批量式NTK和随机标注。
• 即使在中等宽度网络中，NTK近似依然有效，且在所有测试宽度下均持续优于随机标注。
• 该方法实现了标注与训练的解耦，使新标注数据能带来性能提升而无需重新训练，这在标准主动学习中无法实现。
• 在无限宽度范围内，NTK近似与完整微调渐近等价，验证了其理论合理性。