[论文解读] Deep Active Learning by Leveraging Training Dynamics

Haonan Wang, Wei Huang+4 more|arXiv (Cornell University)|Oct 16, 2021

Machine Learning and Algorithms参考文献 54被引用 8

一句话总结

本文提出 dynamicAL，一种基于理论的深度主动学习方法，通过最大化训练动态（即损失函数对优化步数的导数）来选择样本，从而提升泛化性能。该方法基于神经正切核（NTK）理论，建立了更快收敛与更好泛化之间的正相关关系，并通过伪标签法和子集近似技术实现高效扩展，适用于大规模模型，在 CIFAR10、SVHN 和 Caltech101 数据集上采用 ResNet、VGG 和 CNN 架构时，性能优于基线方法。

ABSTRACT

Active learning theories and methods have been extensively studied in classical statistical learning settings. However, deep active learning, i.e., active learning with deep learning models, is usually based on empirical criteria without solid theoretical justification, thus suffering from heavy doubts when some of those fail to provide benefits in real applications. In this paper, by exploring the connection between the generalization performance and the training dynamics, we propose a theory-driven deep active learning method (dynamicAL) which selects samples to maximize training dynamics. In particular, we prove that the convergence speed of training and the generalization performance are positively correlated under the ultra-wide condition and show that maximizing the training dynamics leads to better generalization performance. Furthermore, to scale up to large deep neural networks and data sets, we introduce two relaxations for the subset selection problem and reduce the time complexity from polynomial to constant. Empirical results show that dynamicAL not only outperforms the other baselines consistently but also scales well on large deep learning models. We hope our work would inspire more attempts on bridging the theoretical findings of deep networks and practical impacts of deep active learning in real applications.

研究动机与目标

• 为解决现有深度主动学习方法缺乏理论依据、常依赖经验启发式策略的问题。
• 在过参数化的深度神经网络中，建立训练动态（收敛速度）与泛化性能之间的理论联系。
• 设计一种可扩展、实用的主动学习方法，通过最大化训练动态来提升模型性能，同时最小化标注成本。
• 将 NTK 框架下的理论洞见扩展至真实世界的主动学习场景，即使在独立同分布（i.i.d.）假设被放宽时也保持有效。
• 证明最大化训练动态可导致更低的泛化误差，并在多种数据集和架构上实现更优性能。

提出的方法

• 引入训练动态作为模型收敛性的代理指标，定义为损失函数对优化步数的导数。
• 理论上证明，在超宽 NTK 条件下，更快的收敛速度与更好的泛化性能呈正相关。
• 提出 dynamicAL，一种主动学习方法，通过选择能最大化训练动态的未标注样本，以期提升泛化能力。
• 引入两种松弛策略——伪标签法与子集近似法——将子集选择的复杂度从 O(N^b) 降低至 O(b)，从而实现可扩展性。
• 定义了一项新指标——对齐度（Alignment），用于衡量标签向量在 NTK 空间上的投影，该指标与训练动态及泛化性能呈正相关。
• 使用最大均值差异（MMD）将理论分析扩展至非 i.i.d. 假设场景，支持方法在非独立同分布设置下的鲁棒性。

实验结果

研究问题

• RQ1 在过参数化的深度神经网络中，训练动态（收敛速度）与泛化性能之间是否存在理论关联？
• RQ2 在主动学习设置中，最大化训练动态是否能带来更好的泛化性能？
• RQ3 如何在不产生高计算成本的前提下，高效近似 dynamicAL 的子集选择问题？
• RQ4 当数据分布的 i.i.d. 假设被违反时，该方法是否仍保持有效性？
• RQ5 NTK 框架下的理论洞见能否在标准架构的真实世界深度主动学习中实际应用？

主要发现

• dynamicAL 在所有数据集和架构上均持续优于随机选择和 core-set 基线方法，包括 CIFAR10、SVHN 和 Caltech101。
• 在 CIFAR10 上使用 ResNet 且批量大小为 500 时，dynamicAL 在第 9 轮达到 60.35% 的准确率，优于 core-set（59.62%）和随机方法（58.08%）。
• 在 SVHN 上使用 VGG 时，dynamicAL 在第 9 轮达到 86.57% 的准确率，超过 core-set（85.62%）和随机方法（85.75%）。
• 在 Caltech101 上使用 ResNet18 且 b=500、r=15 的大规模查询轮次实验中，dynamicAL 即使在所有图像最终都被使用的情况下，仍保持对基线方法的一致优势。
• 子集近似方法能紧密逼近子集选择问题的全局最优解，验证了其有效性。
• 理论分析表明，更高的对齐度（标签向量在 NTK 空间的投影）与更快的收敛速度及更低的泛化误差相关，支持了该方法的设计原理。