[论文解读] Active and Continuous Exploration with Deep Neural Networks and Expected Model Output Changes

Christoph Käding, Erik Rodner+2 more|arXiv (Cornell University)|Dec 19, 2016

Machine Learning and Algorithms参考文献 16被引用 38

一句话总结

该论文提出了一种用于深度神经网络的新型主动学习方法，通过预期模型输出变化（EMOC）持续选择具有信息量的未标记数据批次——无论这些样本属于已知类别还是未知类别——方法通过近似网络所有层的基于梯度的不确定性来实现。该方法在CIFAR100数据集上，无论在准确率提升还是新类别发现方面，均优于随机选择、基于不确定性和基于置信度的基线方法。

ABSTRACT

The demands on visual recognition systems do not end with the complexity offered by current large-scale image datasets, such as ImageNet. In consequence, we need curious and continuously learning algorithms that actively acquire knowledge about semantic concepts which are present in available unlabeled data. As a step towards this goal, we show how to perform continuous active learning and exploration, where an algorithm actively selects relevant batches of unlabeled examples for annotation. These examples could either belong to already known or to yet undiscovered classes. Our algorithm is based on a new generalization of the Expected Model Output Change principle for deep architectures and is especially tailored to deep neural networks. Furthermore, we show easy-to-implement approximations that yield efficient techniques for active selection. Empirical experiments show that our method outperforms currently used heuristics.

研究动机与目标

• 解决对持续、终身视觉识别系统的需求，使其能够从未标记数据中学习，而无需进行完整的重新训练。
• 通过主动选择最具信息量的未标记样本进行标注，包括来自未知类别的样本，从而减少人工标注的工作量。
• 开发一种与深度学习兼容的预期模型输出变化（EMOC）原理扩展，以指导深度架构中的主动选择。
• 通过统一的、基于梯度的选择标准，实现在已知类别和先前未见类别上的同步学习。

提出的方法

• 通过使用反向传播的梯度计算所有网络层上模型输出的期望变化，将EMOC原理推广至深度神经网络。
• 通过损失函数相对于网络参数的梯度大小来近似EMOC，从而实现在大规模数据集上的高效计算。
• 采用小批量梯度下降法，并结合加权采样策略（λ=0.9 表示旧数据，1−λ=0.1 表示新数据），以在持续学习过程中防止过拟合。
• 基于EMOC得分每轮更新步骤选择25个样本的批次，优先选择那些在模型输出上引发最大期望变化的样本。
• 在每次更新后将新标注的批次增量式地整合到模型中，确保每个训练批次中已知数据与新类别数据保持平衡。
• 将该方法应用于持续学习设置中，即在每次新标注批次后对模型进行微调，从而实现对先前未见类别的发现。

实验结果

研究问题

• RQ1 预期模型输出变化（EMOC）原理能否被有效推广至深度神经网络，以支持主动学习？
• RQ2 与基于不确定性和基于置信度的选择策略相比，基于EMOC的选择策略在准确率和新类别发现方面表现如何？
• RQ3 基于EMOC的主动学习能否在单一统一框架中实现对已知类别和先前未见类别的持续学习？
• RQ4 所提出的方法在多大程度上减少了标注工作量，同时保持或提升模型在未见数据上的性能？

主要发现

• 所提出的基于EMOC的方法在CIFAR100上的准确率提升和学习速度方面，均优于随机选择、基于不确定性的（min）和基于置信度的（max）基线方法。
• 该方法在新类别的发现速度上显著快于所有基线方法，证明了其在主动学习中进行类别发现的有效性。
• 1-vs-2（前两名类别得分之差）和 min（最大类别得分最低值）基线方法表现几乎完全相同，表明在该数据集上难以有效区分模糊样本。
• max策略（选择最自信样本）表现显著较差，因其倾向于选择已知类别的样本，从而限制了对新概念的探索。
• 基于EMOC的方法在所有更新步骤中均实现了更高的平均准确率，表明其具有稳定且持续的性能提升。
• 由于采用基于梯度的近似方法，该方法计算效率高，可实现对大规模未标记数据集的可扩展应用，且计算开销极小。