[论文解读] ModuleNet: Knowledge-inherited Neural Architecture Search

Yaran Chen, Ruiyuan Gao+2 more|arXiv (Cornell University)|Apr 10, 2020

Advanced Neural Network Applications参考文献 31被引用 6

一句话总结

ModuleNet 提出了一种知识继承的神经架构搜索框架，将预训练的CNN分解为保留参数的模块，构建知识库，通过NSGA-II算法在无需微调卷积权重的情况下实现高效的架构搜索。通过重新组合这些模块，ModuleNet在CIFAR-10和CIFAR-100上实现了优于原始架构的性能，证明了继承的架构与参数知识能显著提升搜索效率与准确性。

ABSTRACT

Although Neural Architecture Search (NAS) can bring improvement to deep models, they always neglect precious knowledge of existing models. The computation and time costing property in NAS also means that we should not start from scratch to search, but make every attempt to reuse the existing knowledge. In this paper, we discuss what kind of knowledge in a model can and should be used for new architecture design. Then, we propose a new NAS algorithm, namely ModuleNet, which can fully inherit knowledge from existing convolutional neural networks. To make full use of existing models, we decompose existing models into different extit{module}s which also keep their weights, consisting of a knowledge base. Then we sample and search for new architecture according to the knowledge base. Unlike previous search algorithms, and benefiting from inherited knowledge, our method is able to directly search for architectures in the macro space by NSGA-II algorithm without tuning parameters in these extit{module}s. Experiments show that our strategy can efficiently evaluate the performance of new architecture even without tuning weights in convolutional layers. With the help of knowledge we inherited, our search results can always achieve better performance on various datasets (CIFAR10, CIFAR100) over original architectures.

研究动机与目标

• 为解决现有神经架构搜索（NAS）方法从零开始训练导致的效率低下和知识浪费问题。
• 探究如何系统性地重用现有模型架构与训练参数，以提升NAS的效率与性能。
• 开发一种NAS框架，保留预训练模型的架构与参数知识，实现模块的直接重组。
• 评估非参数连接在不微调卷积权重的情况下维持性能的有效性。
• 证明知识继承的搜索策略在准确率与收敛速度上优于标准NAS。

提出的方法

• 将现有的预训练CNN分解为可重用的模块，同时保留其训练权重，形成知识库。
• 使用NSGA-II作为多目标进化算法，通过重组模块搜索最优架构，且不微调卷积层参数。
• 通过交叉与变异操作重新组织模块构建新架构，保持原始权重以继承知识。
• 在模块之间实现非参数连接，以减少可训练参数并加速搜索，避免使用1×1卷积。
• 使用反映性能的评分公式评估候选架构，无需微调，完全依赖继承的知识。
• 通过监测多代之间的基因型变化，确保搜索的稳定性和收敛性。

实验结果

研究问题

• RQ1 能否有效重用预训练CNN架构及其训练参数，以提升NAS的效率与性能？
• RQ2 通过模块分解实现的知识继承如何影响NAS的搜索空间与收敛性？
• RQ3 在NAS过程中，模块间的非参数连接是否能维持或提升性能，相比参数化连接？
• RQ4 所提出的知识继承搜索策略在准确率与搜索成本方面相较于标准NAS的提升程度如何？
• RQ5 在基于模块的架构搜索中，NSGA-II搜索策略是否具备稳定性与可扩展性？

主要发现

• ModuleNet在CIFAR-10和CIFAR-100上的表现优于其继承的原始架构，证明了知识重用的有效性。
• 非参数连接的使用带来了更强的性能区分度，使高性能架构表现更优，优于基于1×1卷积的连接方式。
• 多代之间的基因型变化在若干代后趋于稳定，表明NSGA-II算法在基于模块的搜索空间中实现了收敛。
• 所提出的评分公式无需微调即可准确评估性能，验证了其在知识继承NAS中的可靠性。
• 搜索过程保持高效且可扩展，架构评估期间无需重新训练卷积层。
• 结果证实，现有模型中的架构与参数知识能显著提升NAS的性能表现。