[论文解读] Improving Neural Architecture Search Image Classifiers via Ensemble Learning

V. Macko, Charles Weill+2 more|arXiv (Cornell University)|Mar 14, 2019

Advanced Neural Network Applications参考文献 17被引用 9

一句话总结

该论文提出 AdaNAS，一种自动神经架构搜索框架，通过使用自适应知识蒸馏和加权集成平均法，构建一系列顺序训练的小型子网络集成，从而提升图像分类器性能。该方法在仅使用 33M 参数的情况下，在 CIFAR-100 上实现了 14.58% 的错误率，达到当前最优水平，优于单塔架构和先前的 NAS 方法，且无需额外的数据增强。

ABSTRACT

Finding the best neural network architecture requires significant time, resources, and human expertise. These challenges are partially addressed by neural architecture search (NAS) which is able to find the best convolutional layer or cell that is then used as a building block for the network. However, once a good building block is found, manual design is still required to assemble the final architecture as a combination of multiple blocks under a predefined parameter budget constraint. A common solution is to stack these blocks into a single tower and adjust the width and depth to fill the parameter budget. However, these single tower architectures may not be optimal. Instead, in this paper we present the AdaNAS algorithm, that uses ensemble techniques to compose a neural network as an ensemble of smaller networks automatically. Additionally, we introduce a novel technique based on knowledge distillation to iteratively train the smaller networks using the previous ensemble as a teacher. Our experiments demonstrate that ensembles of networks improve accuracy upon a single neural network while keeping the same number of parameters. Our models achieve comparable results with the state-of-the-art on CIFAR-10 and sets a new state-of-the-art on CIFAR-100.

研究动机与目标

• 为解决 NAS 中单塔神经网络架构的局限性，尽管使用了高质量的构建模块，但往往无法充分利用参数预算。
• 探究由更小、独立训练的子网络组成的集成模型是否能优于参数量相同的单个大型模型。
• 通过迭代训练和知识蒸馏，以最小的人工专业知识自动化集成组成过程。
• 探究与独立训练相比，通过知识蒸馏实现顺序训练是否能提升最终集成模型的性能。
• 证明架构搜索可为不同数据集生成不同的最优架构，即使在相同搜索空间内亦如此。

提出的方法

• AdaNAS 使用动态生成器，从 NASNet 搜索空间中迭代选择并训练更小的架构，逐步构建子网络集成。
• 在每次迭代中，算法利用前序集成作为教师模型，将知识蒸馏到新训练的子网络中。
• 提出一种名为自适应知识蒸馏（Adaptive Knowledge Distillation, AKD）的新技术，通过将集成知识传递给每个新子网络来提升训练效果。
• 最终集成通过可学习的加权平均组合预测结果，使模型能够为更准确的子网络分配更高权重。
• 该方法在固定参数预算下运行，通过动态调整各次迭代中的深度和宽度，以最大化准确率。
• 该框架基于 AdaNet 构建，可与现有 NAS 流程无缝集成，实现极低的超参数调优需求。

实验结果

研究问题

• RQ1 由更小子网络组成的集成模型是否能实现优于相同参数量单个大型模型的准确率？
• RQ2 与独立训练相比，通过先前集成的知识蒸馏实现子网络的顺序训练是否能提升最终性能？
• RQ3 能否使用动态生成器实现几乎无需人工干预的集成组成过程？
• RQ4 在相同搜索空间下，CIFAR-10 和 CIFAR-100 的最优架构有何差异？
• RQ5 自适应知识蒸馏与可学习混合权重是否能进一步提升集成准确率？

主要发现

• 在 CIFAR-10 上，AdaNAS 实现了 2.26% 的测试错误率，尽管仅使用 33M 参数，但性能与 AmoebaNet 和 NAONet 等最先进模型相当。
• 在 CIFAR-100 上，AdaNAS 以 14.58% 的测试错误率创下新 SOTA 记录，超越 NASNet-A 及其他先前方法，且无需额外数据增强。
• 该算法在 CIFAR-100 上始终选择更宽的架构，而在 CIFAR-10 上则选择较窄架构，表明即使在相同搜索空间内，不同数据集也存在特定的架构偏好。
• 同时使用自适应知识蒸馏和可学习混合权重可获得最佳性能，证明了迭代知识迁移的有效性。
• 集成方法支持并行推理，显著缩短从训练到部署的耗时，因为子网络可独立训练。
• 该方法优于单塔 NASNet 架构，在架构设计上显著减少人工经验需求的同时，实现接近 SOTA 的性能。