[论文解读] Cost-Effective Training of Deep CNNs with Active Model Adaptation

Sheng-Jun Huang, Jiawei Zhao+1 more|arXiv (Cornell University)|Feb 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 41被引用 3

一句话总结

本文提出主动模型适配（ADMA），一种通过迭代微调预训练模型来使用主动选择的高价值样本进行训练深度卷积神经网络（CNN）的低成本方法。该方法在新颖的选择标准中平衡了独特性与不确定性，显著降低了标注成本，同时在多个数据集和预训练模型上提升了特征表示能力和分类准确率。

ABSTRACT

Deep convolutional neural networks have achieved great success in various applications. However, training an effective DNN model for a specific task is rather challenging because it requires a prior knowledge or experience to design the network architecture, repeated trial-and-error process to tune the parameters, and a large set of labeled data to train the model. In this paper, we propose to overcome these challenges by actively adapting a pre-trained model to a new task with less labeled examples. Specifically, the pre-trained model is iteratively fine tuned based on the most useful examples. The examples are actively selected based on a novel criterion, which jointly estimates the potential contribution of an instance on optimizing the feature representation as well as improving the classification model for the target task. On one hand, the pre-trained model brings plentiful information from its original task, avoiding redesign of the network architecture or training from scratch; and on the other hand, the labeling cost can be significantly reduced by active label querying. Experiments on multiple datasets and different pre-trained models demonstrate that the proposed approach can achieve cost-effective training of DNNs.

研究动机与目标

• 为降低从零开始训练深度CNN的高昂成本，包括网络结构设计、超参数调优以及大规模标注成本。
• 通过利用预训练模型避免对已充分表示的样本进行冗余标注，解决传统主动学习在深度网络中的局限性。
• 通过选择对目标任务既具有独特性又具有预测不确定性的样本，提升迁移学习中的特征表示能力和分类性能。
• 开发一种动态的双准则主动选择机制，通过平衡独特性（特征变换的唯一性）与不确定性（预测置信度）实现有效的模型适配。

提出的方法

• 提出一种新颖的主动选择标准，联合估计样本在提升特征表示（独特性）和分类器性能（不确定性）方面的贡献。
• 通过分析源层A到目标层B的特征变换模式来度量独特性，使用多个变换模式之间的方差作为代理指标。
• 通过最终分类器层的预测置信度来估计不确定性，优先选择低置信度样本进行标注。
• 使用源任务类别中心的加权组合来近似目标样本的变换模式，权重分别基于预测概率（ADMA-predict）或L2距离（ADMA-distance）。
• 通过迭代主动学习机制，查询最具信息量样本的标签，并使用冻结的特征层对预训练模型进行微调。
• 采用两阶段策略：首先，通过独特性-不确定性标准识别高价值样本；其次，使用所选样本对模型进行微调，以适应目标任务。

实验结果

研究问题

• RQ1 基于独特性与不确定性的主动选择是否能显著降低标注成本，同时在迁移学习中保持或提升模型性能？
• RQ2 基于层间特征变换模式的所提出独特性度量如何改善适配模型中的表示学习？
• RQ3 使用L2距离加权源类别中心是否在估计变换模式方面优于基于预测概率的方法？
• RQ4 在低数据场景下，ADMA在微调预训练CNN时，相较于随机采样和现有主动学习方法，性能提升程度如何？
• RQ5 该方法是否能在不同数据集和预训练模型（如AlexNet、VGG、ResNet）上实现一致的性能增益，具备良好的泛化能力？

主要发现

• ADMA在多个数据集（如PASCAL VOC2012、CIFAR-10、CIFAR-100）上实现了最先进性能，且所需标注样本数量显著少于随机采样和基线主动学习方法。
• ADMA-distance变体（使用L2距离加权源类别中心）始终优于ADMA-predict（基于预测概率），表明预训练模型在分布外数据上可能不可靠，不宜直接用于预测。
• 可视化结果表明，ADMA选择的样本具有高独特性——即与源任务样本有显著差异，证实了其与捕捉目标任务特异性特征的设计目标一致。
• 使用多个特征变换模式（如来自不同起始层的模式）可提升性能，表明多尺度表示分析能增强选择质量。
• 该方法通过优先选择对表示学习和分类器优化均有最大贡献的样本，显著降低了标注成本，该结论已通过消融实验和对比研究验证。
• 在使用AlexNet的PASCAL VOC2012数据集上，ADMA在仅标注20%训练数据的情况下，准确率仍高于随机采样，展现出强大的数据效率。