[论文解读] Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution

Thomas Elsken, Jan Hendrik Metzen+1 more|arXiv (Cornell University)|Apr 24, 2018

Evolutionary Algorithms and Applications被引用 214

一句话总结

LEMONADE 是一种进化的、多目标神经网络架构搜索方法，通过网络形态的拉马克式遗传和近似网络形态来高效地在精度与资源约束之间近似 Pareto 前沿。

ABSTRACT

Neural Architecture Search aims at automatically finding neural architectures that are competitive with architectures designed by human experts. While recent approaches have achieved state-of-the-art predictive performance for image recognition, they are problematic under resource constraints for two reasons: (1)the neural architectures found are solely optimized for high predictive performance, without penalizing excessive resource consumption, (2) most architecture search methods require vast computational resources. We address the first shortcoming by proposing LEMONADE, an evolutionary algorithm for multi-objective architecture search that allows approximating the entire Pareto-front of architectures under multiple objectives, such as predictive performance and number of parameters, in a single run of the method. We address the second shortcoming by proposing a Lamarckian inheritance mechanism for LEMONADE which generates children networks that are warmstarted with the predictive performance of their trained parents. This is accomplished by using (approximate) network morphism operators for generating children. The combination of these two contributions allows finding models that are on par or even outperform both hand-crafted as well as automatically-designed networks.

研究动机与目标

• 在多种资源与准确度目标下推动自动神经架构搜索。
• 提出一个进化框架，返回 Pareto 前沿而非单一解。
• 通过使用保函数的运算符和近似运算符来让子代热启动，从而减少计算。
• 能够处理包括复杂拓扑和跳连接在内的任意搜索空间。

提出的方法

• 使用网络形态来创建保持功能的子网络，以保留训练后的性能（Net2DeeperNet、Net2WiderNet 概念）。
• 引入近似网络形态（ANMs），通过知识蒸馏在保持性能的同时也可缩小网络。
• 开发 LEMONADE，一种在 Pareto 前沿维持种群的进化算法，使用廉价目标在进行昂贵评估前对父代/子代选择进行偏置。
• 用 NM 和 ANM 操作符对网络进行变异以生成子代，并通过用父代信息初始化子代权重来应用拉马克式遗传。
• 区分评估：对廉价目标（参数、FLOPs、推理时间）进行高频采样优化；对昂贵目标（验证准确率）较少频次，以构建多样化的 Pareto 前沿。
• 返回Pareto前沿上的一组架构，而不是单一权衡，并支持包括单元和完整架构在内的任意搜索空间。

实验结果

研究问题

• RQ1 多目标 NAS 如何在准确性和资源指标上高效近似 Pareto 前沿？
• RQ2 通过网络形态的拉马克式继承通过热启动子代能否加速 NAS？
• RQ3 与人工设计或其他 NAS 方法相比，LEMONADE 在无约束搜索空间以及在不同目标（如参数、FLOPs、推理时间）上的表现如何？

主要发现

• LEMONADE 在 16 个 GPU 上工作 5 天内，在多目标下发现的架构与 MobileNetV2 和 NASNet 具有竞争力。
• 搜索产生的 Pareto 前沿参数量在 10,000 到 10,000,000 之间，并且推理时间比基线有改善。
• 在 CIFAR-10 上，LEMONADE 在若干资源敏感场景下优于 NASNet 和 MobileNetV2，并且与最先进的多目标方法相比具有竞争力或更优。
• 使用 80 GPU 天，LEMONADE 的结果与如 Zoph 等人（20014 年）等方法相比具有竞争力，后者使用了更多的计算资源。
• 将单元迁移到 ImageNet64x64 和 ImageNet mobile setting，在迁移实验中，单元超越了 NASNets 和 MobileNets V2 等基线。
• 表 1 显示在相同训练条件下，LEMONADE 与多种 NAS 方法在不同模型规模上相符或超越。