[论文解读] Multi-Objective Neural Architecture Search Based on Diverse Structures and Adaptive Recommendation

Chunnan Wang, Hongzhi Wang+2 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 35被引用 4

一句话总结

该论文提出 MoARR，一种多目标神经架构搜索方法，通过复用高性能的预发现单元结构，实现多样化且灵活的网络架构，同时缩小搜索空间。通过从历史评估数据中自适应学习反向推荐模型，MoARR 高效识别出准确率高且参数量低的帕累托最优架构，在仅 6 个 GPU 小时内于 CIFAR-10 上实现 1.9% 的错误率和 230 万个参数，超越了当前最先进方法。

ABSTRACT

The search space of neural architecture search (NAS) for convolutional neural network (CNN) is huge. To reduce searching cost, most NAS algorithms use fixed outer network level structure, and search the repeatable cell structure only. Such kind of fixed architecture performs well when enough cells and channels are used. However, when the architecture becomes more lightweight, the performance decreases significantly. To obtain better lightweight architectures, more flexible and diversified neural architectures are in demand, and more efficient methods should be designed for larger search space. Motivated by this, we propose MoARR algorithm, which utilizes the existing research results and historical information to quickly find architectures that are both lightweight and accurate. We use the discovered high-performance cells to construct network architectures. This method increases the network architecture diversity while also reduces the search space of cell structure design. In addition, we designs a novel multi-objective method to effectively analyze the historical evaluation information, so as to efficiently search for the Pareto optimal architectures with high accuracy and small parameter number. Experimental results show that our MoARR can achieve a powerful and lightweight model (with 1.9% error rate and 2.3M parameters) on CIFAR-10 in 6 GPU hours, which is better than the state-of-the-arts. The explored architecture is transferable to ImageNet and achieves 76.0% top-1 accuracy with 4.9M parameters.

研究动机与目标

• 为解决 NAS 中固定外部网络结构的局限性，此类结构在模型轻量化时性能下降的问题。
• 在大规模复杂搜索空间中降低搜索成本，同时提升架构多样性与灵活性。
• 开发一种高效的多目标优化方法，平衡轻量级 CNN 的准确率与参数量。
• 利用现有的高性能单元结构加速搜索并提升模型质量。
• 设计一种动态推荐机制，从历史评估中学习，以指导未来架构选择。

提出的方法

• 该方法通过复用先前 NAS 研究中发现的高性能预存单元结构，构建灵活的网络架构。
• 提出一种新颖的多目标优化算法 MoARR，利用历史评估数据学习反向推荐模型（RRModel）。
• RRModel 通过建模架构编码、准确率与参数量之间的关系，自适应推荐准确率更高且参数量更低的架构。
• MoARR 迭代评估推荐的架构，并通过每次新反馈不断优化 RRModel，从而随时间提升推荐质量。
• 通过避免评估低性能架构，减少不必要的评估次数，从而加速收敛至帕累托最优解。
• 该方法设计高效且可扩展，特别适用于评估成本高昂的多目标 NAS 问题。

实验结果

研究问题

• RQ1 复用高性能的预发现单元结构是否能显著缩小搜索空间并提升神经架构搜索的效率？
• RQ2 如何有效利用历史评估数据，引导搜索过程找到准确率高且参数量低的帕累托最优架构？
• RQ3 在评估成本昂贵的 NAS 任务中，自适应反向推荐模型是否能超越传统多目标优化方法？
• RQ4 通过不同单元堆叠带来的架构多样性，在轻量化设置下在多大程度上提升模型性能？
• RQ5 所提方法是否能在计算资源极少的情况下，于 CIFAR-10 和 ImageNet 等基准数据集上实现最先进性能？

主要发现

• MoARR 在 CIFAR-10 上仅用 230 万个参数即实现 1.9% 的错误率，优于现有最先进方法。
• 搜索过程仅需 6 个 GPU 小时，相比先前方法显著降低了训练成本。
• 所发现的架构在 ImageNet 上具有良好的迁移能力，实现 76.0% 的 top-1 准确率，参数量为 490 万个。
• 基于历史数据的反向推荐模型减少了无效评估次数，提升了搜索效率。
• 该方法通过结合架构多样性与自适应数据驱动推荐，展现出卓越性能。
• 该方法具有可迁移性，可扩展至其他神经网络类型，如 GNN 和 RNN。