[论文解读] HNAS: Hierarchical Neural Architecture Search on Mobile Devices.

Xin Xia, Wenrui Ding|arXiv (Cornell University)|May 15, 2020

Advanced Neural Network Applications参考文献 41被引用 8

一句话总结

HNAS 提出了一种分层神经架构搜索方法，通过操作剪枝构建逐层操作搜索空间，实现在尊重移动设备延迟约束的前提下，自动选择每层的操作。在移动延迟约束下，HNAS 生成的模型在 ImageNet 上的表现优于手动设计和 NAS 优化的最先进模型。

ABSTRACT

Neural Architecture Search (NAS) has attracted growing interest. To reduce the search cost, recent work has explored weight sharing across models and made major progress in One-Shot NAS. However, it has been observed that a model with higher one-shot model accuracy does not necessarily perform better when stand-alone trained. To address this issue, in this paper, we propose a new method, named Hierarchical Neural Architecture Search (HNAS). Unlike previous approaches where the same operation search space is shared by all the layers in the supernet, we formulate a hierarchical search strategy based on operation pruning and build a layer-wise operation search space. In this way, HNAS can automatically select the operations for each layer. During the search, we also take the hardware platform constraints into consideration for efficient neural network model deployment. Extensive experiments on ImageNet show that under mobile latency constraint, our models consistently outperform state-of-the-art models both designed manually and generated automatically by NAS methods.

研究动机与目标

• 解决现有 One-Shot NAS 方法的局限性，即高 one-shot 准确率与独立模型性能之间无相关性。
• 在保持移动设备高准确率的同时，降低神经架构搜索的搜索成本。
• 将硬件平台约束（例如延迟）直接整合到 NAS 过程中，以实现高效部署。
• 构建一种逐层操作搜索空间，实现每层的自动操作选择，从而提升模型效率和性能。

提出的方法

• 基于操作剪枝制定一种分层搜索策略，以创建每层特定的操作搜索空间，而非在整个网络中共享同一搜索空间。
• 构建一个具有逐层操作选择的超网络，其中每层可从其自身学习到的操作集合中动态选择。
• 将移动延迟约束整合到搜索过程中，优先选择满足实际部署需求的架构。
• 通过超网络中的权重重用降低训练成本，同时确保最终独立模型能达到高准确率。
• 采用可微搜索策略，实现超网络的端到端训练，通过梯度实现操作选择。
• 优化搜索过程，以优先选择在移动延迟约束下既准确又高效的架构。

实验结果

研究问题

• RQ1 是否可以通过逐层变化的分层操作搜索空间，使 one-shot NAS 的泛化能力超越共享搜索空间？
• RQ2 与使用共享操作空间的传统 NAS 相比，逐层操作剪枝是否能带来更好的独立模型性能？
• RQ3 在不牺牲准确率的前提下，硬件感知约束（如移动延迟）在多大程度上可以被整合到 NAS 过程中？
• RQ4 在移动部署约束下，HNAS 与最先进的人工设计或 NAS 生成模型相比，在准确率和效率方面表现如何？

主要发现

• 在相同移动延迟约束下，HNAS 生成的模型在 ImageNet 上的 top-1 准确率高于最先进模型。
• 采用逐层操作选择的分层搜索策略，相比使用共享操作空间的传统 One-Shot NAS，能带来更好的独立模型性能。
• 在移动设备上，HNAS 搜索得到的模型在准确率-效率权衡方面，优于人工设计和 NAS 生成的模型。
• 在搜索过程中整合硬件延迟约束，可生成不仅准确且在移动平台上延迟开销极小的可部署架构。