[论文解读] Hierarchical Representations for Efficient Architecture Search

Hanxiao Liu, Karen Simonyan+3 more|arXiv (Cornell University)|Nov 1, 2017

Evolutionary Algorithms and Applications参考文献 23被引用 227

一句话总结

本文介绍分层架构表示，并证明对这些表示进行进化或随机搜索可以发现用于图像分类的竞争性神经网络单元，在CIFAR-10上达到 top-1 错误率3.75%，在ImageNet上达到 top-1 20.3%，搜索时间高效。

ABSTRACT

We explore efficient neural architecture search methods and show that a simple yet powerful evolutionary algorithm can discover new architectures with excellent performance. Our approach combines a novel hierarchical genetic representation scheme that imitates the modularized design pattern commonly adopted by human experts, and an expressive search space that supports complex topologies. Our algorithm efficiently discovers architectures that outperform a large number of manually designed models for image classification, obtaining top-1 error of 3.6% on CIFAR-10 and 20.3% when transferred to ImageNet, which is competitive with the best existing neural architecture search approaches. We also present results using random search, achieving 0.3% less top-1 accuracy on CIFAR-10 and 0.1% less on ImageNet whilst reducing the search time from 36 hours down to 1 hour.

研究动机与目标

• 通过设计一个分层、模块化的表示，模仿人工驱动的块级设计，来推动高效的神经网络架构搜索（NAS）.
• 证明当与强大的分层空间结合时，简单的搜索策略（随机/进化）也能达到竞争性性能。
• 展示在CIFAR-10上发现的架构的可扩展性和可迁移性到ImageNet。
• 提供一个高效的分布式搜索框架，以减少NAS的计算时间。

提出的方法

• 定义扁平与分层神经网络架构表示。
• 引入基于分层基元的编码，其中低层基元作为高层基元的构建块。
• 指定六个底层原语（1x1 卷积、3x3 深度可分卷积、3x3 可分离卷积、3x3 最大池化、3x3 平均池化、恒等映射），以及一个无边选项。
• 使用带有变异算子的进化搜索，改变跨层次的基元之间的边（包括添加、修改或移除边）。
• 采用异步分布式进化，控制器执行锦标赛选择，工作节点通过从头训练固定预算来评估架构适应度。
• 将进化搜索与随机搜索进行比较，以评估表示和搜索策略的影响。

实验结果

研究问题

• RQ1 分层表示是否比扁平表示在NAS的效率和效果上有改进？
• RQ2 在分层空间中，随机搜索和进化搜索在寻找高性能架构方面的表现如何？
• RQ3 在CIFAR-10上发现的架构在ImageNet上的性能和迁移能力如何？
• RQ4 所提出的异步分布式 NAS 框架的计算效率（时间、资源）如何？

主要发现

搜索方法	CIFAR-10 误差 (%)	ImageNet Top-1 误差 (%)	ImageNet Top-5 误差 (%)
扁平表示-n，随机架构	4.56 ± 0.11	21.4	5.8
扁平表示-n，随机搜索（200个样本）	4.02 ± 0.11	20.8	5.7
扁平表示-n，进化（7000 次样本）	3.92 ± 0.06	20.6	5.6
扁平表示-n，参数受限，进化（7000 次样本）	4.17 ± 0.08	21.2	5.8
分层表示-n，随机架构	4.21 ± 0.11	21.5	5.8
分层表示-n，随机搜索（200个样本）	4.04 ± 0.20	20.4	5.3
分层表示-n，随机搜索（7000个样本）	3.91 ± 0.15	21.0	5.5
分层表示-n，进化（7000 个样本）	3.75 ± 0.12	20.3	5.2

• 分层表示在相同性能水平下比扁平表示实现更高效的参数利用率。
• 对分层空间的随机搜索也能产生有竞争力的结果，证实了良好设计的搜索空间的重要性。
• 对分层表示的进化搜索取得最佳结果：CIFAR-10 3.75% ±0.12%（64 通道）和 3.63% ±0.10%（128 通道）；ImageNet top-1 20.3% 和 top-5 5.2%。
• 与先前的 NAS 工作相比，该方法在实际墙钟时间方面表现出色（例如对200个架构的随机搜索仅需1小时；在200个GPU上进行7000步进进化约1.5天）。
• 进化得到的分层单元包含跳跃连接和模块化基元，揭示了学习到的架构模式。
• 含分层单元的进化模型大约64M参数（ImageNet），与 Inception-ResNet-v2 相当，且大于 NASNet-A。