[论文解读] Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution

Thomas Elsken, Jan Hendrik Metzen+1 more|arXiv (Cornell University)|Apr 24, 2018

Evolutionary Algorithms and Applications参考文献 46被引用 66

一句话总结

LEMONADE 是一种用于神经架构进化搜索的算法，能够在一次运行中利用 Lamarckian inheritance 与网络形态学共同优化多目标（例如准确率和资源），高效地探索大空间并近似 Pareto 前沿。

ABSTRACT

Neural Architecture Search aims at automatically finding neural architectures that are competitive with architectures designed by human experts. While recent approaches have achieved state-of-the-art predictive performance for image recognition, they are problematic under resource constraints for two reasons: (1)the neural architectures found are solely optimized for high predictive performance, without penalizing excessive resource consumption, (2) most architecture search methods require vast computational resources. We address the first shortcoming by proposing LEMONADE, an evolutionary algorithm for multi-objective architecture search that allows approximating the entire Pareto-front of architectures under multiple objectives, such as predictive performance and number of parameters, in a single run of the method. We address the second shortcoming by proposing a Lamarckian inheritance mechanism for LEMONADE which generates children networks that are warmstarted with the predictive performance of their trained parents. This is accomplished by using (approximate) network morphism operators for generating children. The combination of these two contributions allows finding models that are on par or even outperform both hand-crafted as well as automatically-designed networks.

研究动机与目标

• 在资源约束（如模型大小、FLOPs、推理时间）下自动 NAS 的需求的动机与解决。
• 开发一种多目标进化方法，能够在一次运行中逼近完整的 Pareto 前沿。
• 通过利用保持函数的和近似网络形态（ANMs）来热启动新子代，降低每个架构的训练成本。

提出的方法

• 引入在变异时保持网络功能的网络形态（如 Net2DeeperNet、加宽、跳跃连接）。
• 扩展到近似网络形态（ANMs），允许通过基于蒸馏的初始化来缩小或压缩架构。
• 提出 LEMONADE，一种拉玛尔克ian 演化算法，使用廉价目标来引导种群，使用昂贵目标评估一个小而有希望的子集（两阶段采样）。
• 在廉价目标上对核密度估计（KDE）以偏向父代选择和子代接受，朝着目标空间中稀疏的区域。
• 在支持复杂拓扑和跳跃的空间中运行，既支持全架构搜索也支持单元格搜索；报告在多个目标上的 Pareto 前沿。

实验结果

研究问题

• RQ1 LEMONADE 能否在神经架构搜索中有效逼近多个目标的 Pareto 前沿？
• RQ2 通过网络形态实现的拉玛尔克ian 遗传机制是否通过热启动父代训练权重来加速搜索？
• RQ3 LEMONADE 在无约束的搜索空间以及转移到不同数据集（如 CIFAR-10 到 ImageNet64x64）上的表现如何？
• RQ4 在各种资源约束下，与手工设计和其他 NAS 方法相比，发现的架构有多具竞争力？

主要发现

方法	参数	误差(%)
DPP-Net	0.5M	4.62
LEMONADE	0.5M	4.57
DPP-Net	1.0M	4.78
LEMONADE	1.1M	3.69
NASNet	3.3M	2.65
ENAS	4.6M	2.89
PLNT	5.7M	2.49
LEMONADE	4.7M	3.05
DPP-Net	11.4M	4.36
PLNT	14.3M	2.30
LEMONADE	13.1M	2.58

• LEMONADE 发现的架构与手设计网络（如 MobileNetV2）以及使用显著更多资源训练的模型具有竞争力。
• 该方法在 CIFAR-10 上约 5 天、16 张 GPU 得到大约 300 架构的 Pareto 前沿，覆盖从 10k 到 10M 的参数量。
• 与 NASNet 和 MobileNetV2 比较，LEMONADE 在推理时间和资源使用方面实现了有利的折衷，包括参数数不足 10 万的非常高效模型。
• 在 CIFAR-10 及转移设置下，LEMONADE 的单元格迁移到 ImageNet64x64 的表现超过 NASNets、WRNs、MobileNets V2，在广泛的参数范围内。
• 在 ImageNet 移动场景中，LEMONADE 发现的一个单元在给定适度计算（单 GPU 逐周）下，与最先进的 NAS 方法相比，Top-1/Top-5 错误率具有竞争力。