[论文解读] Deep Active Learning with a Neural Architecture Search

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|Nov 19, 2018

Machine Learning and Algorithms参考文献 28被引用 23

一句话总结

该论文提出 active-iNAS，一种新颖的深度主动学习框架，通过增量神经架构搜索（iNAS）在主动学习过程中动态搜索最优神经架构。通过根据数据可用性逐步调整模型容量，active-iNAS 在多个数据集和查询策略下显著优于固定架构的主动学习方法，其中 softmax 响应与 active-iNAS 结合实现了最先进性能。

ABSTRACT

We consider active learning of deep neural networks. Most active learning works in this context have focused on studying effective querying mechanisms and assumed that an appropriate network architecture is a priori known for the problem at hand. We challenge this assumption and propose a novel active strategy whereby the learning algorithm searches for effective architectures on the fly, while actively learning. We apply our strategy using three known querying techniques (softmax response, MC-dropout, and coresets) and show that the proposed approach overwhelmingly outperforms active learning using fixed architectures.

研究动机与目标

• 为解决现有深度主动学习方法依赖预设、固定神经架构的局限性，这些架构在学习初期可能泛化能力不足。
• 探究在主动学习过程中动态优化神经架构是否能提升模型泛化能力与查询效率。
• 开发一种以单调、数据驱动方式逐步增加架构容量的方法，以避免在小规模标注数据集上过拟合。
• 评估架构优化对主动学习中基于不确定性的查询函数质量的影响。
• 证明 active-iNAS 在多个数据集和查询策略下始终优于标准的固定架构主动学习方法。

提出的方法

• 提出增量神经架构搜索（iNAS），在每次主动学习轮次中进行单调、逐步的架构搜索以寻找更优架构。
• 采用由可变数量残差块堆叠而成的灵活架构族，实现对深度和宽度的受控增加。
• 将 iNAS 与三种标准查询策略集成：softmax 响应、MC-dropout 和基于 coreset 的不确定性估计。
• 采用基于 AUC-GAIN 的归一化方案，公平比较主动学习性能与使用相同模型的被动基线方法。
• 采用动态架构选择过程，从最小容量开始，仅在性能提升时才增加容量。
• 使用相对 AUC-GAIN 指标评估并比较不同查询函数在优化架构下的有效性。

实验结果

研究问题

• RQ1 在主动学习过程中动态进行神经架构搜索是否能提升模型泛化能力并降低样本复杂度？
• RQ2 基于不确定性的查询函数性能是否依赖于底层模型架构，能否通过架构优化加以提升？
• RQ3 架构选择如何影响图像分类任务中主动学习的学习曲线与查询效率？
• RQ4 单调、增量的架构搜索策略是否能防止在小样本标注数据下的早期主动学习阶段出现过拟合？
• RQ5 在不同数据集上，将 active-iNAS 与特定查询函数结合是否能带来一致的性能增益？

主要发现

• active-iNAS 在所有三个数据集（CIFAR-10、CIFAR-100 和 SVHN）上均一致优于使用固定架构的标准主动学习方法。
• softmax 响应与 active-iNAS 结合达到最高性能，在所有数据集上均优于 MC-dropout 和基于 coreset 的方法。
• 在 CIFAR-100 上，MC-dropout 表现显著较差，可能由于类别数量多以及不确定性估计存在挑战。
• 在 SVHN 和 CIFAR-10 上，active-iNAS 倾向于选择更宽但更浅的架构，而在 CIFAR-100 上则偏好更深的架构，反映出数据集复杂度的差异。
• AUC-GAIN 分析表明，模型泛化能力的提升可直接增强查询函数的有效性，验证了架构优化与主动学习之间的协同效应。
• iNAS 过程在不同随机种子下表现稳定，表明在相同学习条件下具有一致的架构演化模式。