[论文解读] HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking

Yan Shen, Biyi Fang+5 more|arXiv (Cornell University)|Aug 31, 2019

Advanced Neural Network Applications参考文献 26被引用 6

一句话总结

HM-NAS 提出了一种高效的神经架构搜索方法，通过使用多层级架构编码和分层掩码，克服了现有参数共享 NAS 方法在架构候选生成中受人工设计启发式规则限制的局限性，能够自动学习最优网络结构而无需人工设计的启发式规则。该方法在 CIFAR-10 和 ImageNet 上实现了最先进性能，参数量减少 1.8 倍，训练速度提升 2.7 倍。

ABSTRACT

The use of automatic methods, often referred to as Neural Architecture Search (NAS), in designing neural network architectures has recently drawn considerable attention. In this work, we present an efficient NAS approach, named HM- NAS, that generalizes existing weight sharing based NAS approaches. Existing weight sharing based NAS approaches still adopt hand-designed heuristics to generate architecture candidates. As a consequence, the space of architecture candidates is constrained in a subset of all possible architectures, making the architecture search results sub-optimal. HM-NAS addresses this limitation via two innovations. First, HM-NAS incorporates a multi-level architecture encoding scheme to enable searching for more flexible network architectures. Second, it discards the hand-designed heuristics and incorporates a hierarchical masking scheme that automatically learns and determines the optimal architecture. Compared to state-of-the-art weight sharing based approaches, HM-NAS is able to achieve better architecture search performance and competitive model evaluation accuracy. Without the constraint imposed by the hand-designed heuristics, our searched networks contain more flexible and meaningful architectures that existing weight sharing based NAS approaches are not able to discover.

研究动机与目标

• 解决现有参数共享 NAS 方法因在架构候选生成中受人工设计启发式规则约束而导致的次优性问题。
• 通过放宽对每个节点的边和操作数量的固定约束，实现对更广泛神经架构空间的搜索。
• 通过将架构搜索建模为可微剪枝问题并使用分层掩码，提升搜索效率与模型准确率。
• 通过学习的掩码机制纠正超网络训练中双层优化导致的架构搜索偏差。
• 发现比以往固定单元、固定操作的 NAS 方法更灵活且语义更清晰的架构。

提出的方法

• 提出一种多层级架构编码方案，允许每个节点具有可变数量的边和操作，并为每条边和每个操作学习可学习的重要性权重。
• 采用分层掩码机制，在超网络训练过程中自动剪枝不重要的权重和连接，从而自动学习最优架构。
• 将架构搜索视为可微的模型剪枝问题，其中掩码通过端到端训练选择最优架构。
• 利用学习到的掩码纠正超网络训练中双层优化带来的偏差，提升收敛性和泛化能力。
• 构建一个单一的过参数化超网络，包含所有可能的架构，实现所有候选架构的高效联合训练。
• 将分层掩码方案应用于动态确定每个节点的输入边数量以及每条边的操作数量，突破了固定单元设计的限制。

实验结果

研究问题

• RQ1 放松现有参数共享 NAS 方法的固定架构约束，是否能带来性能更优且更灵活的神经架构？
• RQ2 分层掩码机制是否能无需人工设计的启发式规则，自动学习最优架构配置？
• RQ3 所提出的方法是否能减少超网络训练中因双层优化导致的搜索偏差？
• RQ4 与最先进 NAS 方法相比，该方法是否能在显著减少参数量和训练时间的前提下实现具有竞争力的准确率？
• RQ5 所发现的架构是否比传统 NAS 方法发现的架构更具灵活性和语义意义？

主要发现

• 在 CIFAR-10 上，HM-NAS 实现了 2.41±0.05 的 top-1 准确率，相比最先进参数共享 NAS 方法，参数量减少 1.8 倍，训练速度提升 2.7 倍。
• 在 ImageNet 上，HM-NAS 实现了具有竞争力的准确率，同时显著提升了效率，证明了其在 CIFAR-10 之外的泛化能力。
• HM-NAS 学习到的边重要性在不同随机权重初始化下均表现稳健，后期中间节点的重要性始终更高。
• HM-NAS 发现的最佳架构具有可变数量的输入边（≥2）和每条边上的多个操作，而 DARTS 强制要求每个节点恰好有两条边和一个操作。
• 分层掩码方案使模型能够发现比现有 NAS 方法更具灵活性和语义意义的架构，这些架构因架构约束而无法被传统方法探索。
• 消融实验表明，多层级编码与分层掩码的组合优于随机架构，也优于使用单层级编码或人工设计启发式规则的方法。