[论文解读] Model-Centric and Data-Centric Aspects of Active Learning for Neural Network Models.

John Daniel Bossér, Erik Sörstadius+1 more|arXiv (Cornell University)|Sep 22, 2020

Machine Learning and Algorithms参考文献 29被引用 5

一句话总结

本文研究了神经网络主动学习中的模型中心和数据中心因素，分析了训练模式、网络架构超参数以及查询策略。通过实证分析，提出了改进的主动学习范式，结果表明增量训练和优化后的超参数能显著提升样本效率和模型性能。

ABSTRACT

We study different data-centric and model-centric aspects of active learning with neural network models. i) We investigate incremental and cumulative training modes that specify how the currently labeled data are used for training. ii) Neural networks are models with a large capacity. Thus, we study how active learning depends on the number of epochs and neurons as well as the choice of batch size. iii) We analyze in detail the behavior of query strategies and their corresponding informativeness measures and accordingly propose more efficient querying and active learning paradigms. iv) We perform statistical analyses, e.g., on actively learned classes and test error estimation, that reveal several insights about active learning.

研究动机与目标

• 理解增量训练与累积训练模式对神经网络主动学习性能的影响。
• 分析神经网络超参数（如训练轮数、神经元数量和批量大小）对主动学习效率的影响。
• 通过分析其信息性度量并提出更高效的主动学习范式，评估并改进查询策略。
• 为主动学习设置下的类别级学习动态和测试误差估计提供统计洞察。

提出的方法

• 比较增量训练与累积训练模式，其中增量训练仅用新标注的数据更新模型，而累积训练则在所有已标注数据上重新训练。
• 通过在不同数据集上调整神经元数量和训练轮数，评估模型容量的影响。
• 研究批量大小对主动学习过程中收敛性和样本效率的影响。
• 利用各自的的信息性度量，分析多种查询策略（如不确定性采样、基于多样性的方法），以指导数据选择。
• 采用统计分析方法，研究主动学习迭代过程中类别级别的学习模式和测试误差估计。
• 基于实证发现，提出优化的主动学习框架，强调高效的数据标注和模型更新策略。

实验结果

研究问题

• RQ1 在模型准确率和样本效率方面，增量训练与累积训练模式相比表现如何？
• RQ2 训练轮数、神经元数量和批量大小等超参数如何影响神经网络主动学习的性能？
• RQ3 哪些查询策略能产生最具信息量的样本，其信息性度量如何影响学习效率？
• RQ4 在主动学习过程中，不同类别的学习动态有何差异，测试误差估计中出现了哪些模式？

主要发现

• 在多个数据集上，增量训练在样本效率和收敛速度方面始终优于累积训练。
• 主动学习的最优性能体现在适度的训练轮数和适中的神经元数量，可避免过拟合或欠拟合。
• 较小的批量大小能提升泛化能力和样本效率，尤其在主动学习的早期阶段更为显著。
• 基于不确定性和多样性度量的查询策略具有更高的信息性，结合方法在标签效率方面表现更优。
• 统计分析表明，某些类别学习得更早且更可靠，测试误差估计在标注样本达到临界数量后趋于稳定。
• 基于超参数调优和查询策略分析提出的主动学习范式，显著减少了模型收敛所需的标注样本数量。