[论文解读] Diffusion-based Deep Active Learning

Dan Kushnir, Luca Venturi|arXiv (Cornell University)|Mar 23, 2020

Machine Learning and Algorithms参考文献 33被引用 8

一句话总结

该论文提出了一种基于扩散的主动学习准则，通过在深度神经网络表示构建的图上扩散标签，动态地从探索转向精炼。在MNIST、CIFAR10和SVHN数据集上，该方法在准确率和稳定性方面均优于现有方法，尤其在早期探索和过渡阶段表现更优，得益于其对数据内在几何结构的捕捉能力，以及无需微调模型即可实现快速、可扩展的批量查询。

ABSTRACT

The remarkable performance of deep neural networks depends on the availability of massive labeled data. To alleviate the load of data annotation, active deep learning aims to select a minimal set of training points to be labelled which yields maximal model accuracy. Most existing approaches implement either an `exploration'-type selection criterion, which aims at exploring the joint distribution of data and labels, or a `refinement'-type criterion which aims at localizing the detected decision boundaries. We propose a versatile and efficient criterion that automatically switches from exploration to refinement when the distribution has been sufficiently mapped. Our criterion relies on a process of diffusing the existing label information over a graph constructed from the hidden representation of the data set as provided by the neural network. This graph representation captures the intrinsic geometry of the approximated labeling function. The diffusion-based criterion is shown to be advantageous as it outperforms existing criteria for deep active learning.

研究动机与目标

• 通过最小化标注数据需求，缓解深度学习中的高标注成本挑战。
• 克服现有主动学习方法仅关注探索或精炼的局限性，避免性能次优。
• 开发一种单一、自适应的准则，自然地实现从探索数据分布到精炼决策边界的过渡。
• 实现无需微调模型的快速、可扩展批量查询，降低深度主动学习中的计算开销。
• 提升模型性能在不同随机初始化和噪声设置下的鲁棒性，并降低方差。

提出的方法

• 从深度神经网络的隐层表征中构建k近邻图，以捕捉数据的内在几何结构。
• 通过稀疏矩阵-向量乘法迭代传播图结构中的已知标签，实现图上的标签扩散。
• 将最终扩散后的标签得分用作查询准则，选择最具信息量的样本进行标注。
• 通过基于扩散后不确定度或置信度对样本排序，实现高效且多样化的批量获取。
• 利用标签扩散过程时间复杂度为线性且仅需少数迭代的特点，实现可扩展性，适用于大规模数据集。
• 将基于扩散的查询策略无缝集成到标准深度主动学习流程中，无需在每一步都重新训练模型。

实验结果

研究问题

• RQ1 是否能够通过单一主动学习准则，在无需单独优化或切换机制的情况下，有效平衡深度学习中的探索与精炼？
• RQ2 基于深度表征构建的图上进行标签扩散，与基于不确定性的准则或基于几何的准则相比，在准确率与稳定性方面表现如何？
• RQ3 图表示在多大程度上通过捕捉标注函数的内在几何结构来提升性能？
• RQ4 基于扩散的方法是否能在计算开销极低的前提下实现优越性能，特别是在批量查询场景中？
• RQ5 该方法在不同数据集和网络架构下的表现如何，尤其在早期探索阶段与后期精炼阶段？

主要发现

• 在MNIST、CIFAR10和SVHN数据集上，该扩散准则在早期探索和过渡阶段显著优于基于不确定性的方法、基于边缘的方法以及核心集方法。
• 在使用全连接网络的MNIST数据集中，扩散方法在初始标注阶段的准确率全面超过所有基线方法。
• 在使用预训练VGG-16的CIFAR10和SVHN数据集中，基于扩散的方法在整个精炼阶段均保持更高的准确率，优于贝叶斯丢弃和基于不确定性的准则。
• 该方法在多次随机运行中表现出最低的方差，证明其对初始化和噪声设置具有高度鲁棒性。
• 图表示能够对数据进行去噪，降低对异常值的敏感性，相比依赖环境空间几何的方法，泛化能力更强。
• 标签扩散过程实现了快速、可扩展的批量选择，时间复杂度为线性，避免了每一步查询都需重新训练模型的开销。