[论文解读] A Study of the Learning Progress in Neural Architecture Search Techniques

Prabhant Singh, Tobias Jacobs+2 more|arXiv (Cornell University)|Jun 18, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用 7

一句话总结

本研究通过测量在不同训练周期生成的架构的测试准确率，评估了高效神经架构搜索（ENAS）中控制器的学习进展。令人惊讶的是，研究发现其性能随时间并未显著提升——在训练初期生成的架构与经过数百个周期训练后生成的架构表现相当，表明ENAS的成功主要源于搜索空间的设计，而非控制器训练，支持了一次性方法作为可行的替代方案。

ABSTRACT

In neural architecture search, the structure of the neural network to best model a given dataset is determined by an automated search process. Efficient Neural Architecture Search (ENAS), proposed by Pham et al. (2018), has recently received considerable attention due to its ability to find excellent architectures within a comparably short search time. In this work, which is motivated by the quest to further improve the learning speed of architecture search, we evaluate the learning progress of the controller which generates the architectures in ENAS. We measure the progress by comparing the architectures generated by it at different controller training epochs, where architectures are evaluated after having re-trained them from scratch. As a surprising result, we find that the learning curves are completely flat, i.e., there is no observable progress of the controller in terms of the performance of its generated architectures. This observation is consistent across the CIFAR-10 and CIFAR-100 datasets and two different search spaces. We conclude that the high quality of the models generated by ENAS is a result of the search space design rather than the controller training, and our results indicate that one-shot architecture design is an efficient alternative to architecture search by ENAS.

研究动机与目标

• 探究ENAS中的控制器是否随时间推移在生成高性能架构方面有所改进。
• 评估ENAS中的学习过程是否能带来生成架构准确率的可测量提升。
• 确定ENAS控制器的长期训练是否能为最终模型性能带来实际收益。
• 评估是否可以使用一次性架构生成替代完整的ENAS搜索过程而不损失准确率。

提出的方法

• 作者对ENAS控制器进行了多轮训练，并在训练的不同阶段采样生成架构。
• 对每个生成的架构，使用完整训练集从头开始训练260–310个周期，以精确测量其测试准确率。
• 将第一轮训练生成的架构性能与控制器完整训练后生成的架构性能进行对比。
• 在CIFAR-10和CIFAR-100上，分别使用宏观和微观搜索空间进行实验。
• 使用共享权重的验证准确率作为控制器反馈的代理指标，但评估其与最终测试准确率的相关性。
• 研究采用官方ENAS实现，并对其进行了修改以支持CIFAR-100和池化操作。

实验结果

研究问题

• RQ1 ENAS控制器在训练过程中生成的架构性能是否会随时间推移而提升？
• RQ2 使用共享权重的验证准确率与重新训练后架构的最终测试准确率之间是否存在可测量的相关性？
• RQ3 是否可以在不完成完整ENAS训练过程的情况下找到高性能架构？
• RQ4 最终架构的质量在多大程度上取决于搜索空间设计，而非控制器优化？

主要发现

• ENAS控制器生成的架构的测试准确率在训练过程中未表现出显著提升，未观察到可测量的学习进展。
• 在CIFAR-10和CIFAR-100上，第一轮训练生成的架构与经过150–310个周期训练后生成的架构性能相当。
• 对于CIFAR-10宏观搜索空间，最终训练后的准确率为95.38%，初始阶段为95.81%，提升微乎其微。
• 对于CIFAR-100宏观搜索空间，初始准确率为80.75%，最终准确率为80.47%，表明无一致性能增益。
• 使用共享权重的验证准确率与重新训练模型的最终测试准确率之间无正相关性。
• 结果表明，ENAS发现的高质量模型主要归因于搜索空间的设计，而非控制器的训练。