[论文解读] HardCoRe-NAS: Hard Constrained diffeRentiable Neural Architecture Search

Niv Nayman, Yonathan Aflalo+2 more|arXiv (Cornell University)|Feb 23, 2021

Advanced Neural Network Applications参考文献 63被引用 17

一句话总结

HardCoRe-NAS 提出了一种可微神经架构搜索框架，该框架在整个搜索过程中强制实施硬性延迟约束，采用可微搜索空间和块坐标随机Frank-Wolfe优化方法。该方法在ImageNet上实现了最先进（SOTA）的准确率，同时严格满足用户定义的延迟约束，无需后期调优或准确率下降。

ABSTRACT

Realistic use of neural networks often requires adhering to multiple constraints on latency, energy and memory among others. A popular approach to find fitting networks is through constrained Neural Architecture Search (NAS), however, previous methods enforce the constraint only softly. Therefore, the resulting networks do not exactly adhere to the resource constraint and their accuracy is harmed. In this work we resolve this by introducing Hard Constrained diffeRentiable NAS (HardCoRe-NAS), that is based on an accurate formulation of the expected resource requirement and a scalable search method that satisfies the hard constraint throughout the search. Our experiments show that HardCoRe-NAS generates state-of-the-art architectures, surpassing other NAS methods, while strictly satisfying the hard resource constraints without any tuning required.

研究动机与目标

• 解决现有约束NAS方法仅软性施加资源约束的局限性，避免约束违反和准确率损失。
• 开发一种可扩展的可微NAS方法，在整个搜索过程中（包括离散化阶段）严格施加延迟约束。
• 实现在具有不同延迟需求的多样化硬件平台上的高效且准确的架构搜索。
• 通过在单次模型中保留预训练权重并使用知识蒸馏快速微调子网络，保持高准确率。

提出的方法

• 将NAS问题建模为带有期望延迟硬约束的双层优化问题，确保所有阶段均严格合规。
• 提出一种可微搜索空间，支持从单个具有冻结预训练权重的一次性模型中高效采样子网络。
• 采用精确的解析公式，用于估计搜索空间中每种架构的期望延迟。
• 使用块坐标随机Frank-Wolfe（BC-SFW）算法求解约束优化问题，确保收敛性的同时保持硬约束。
• 提出一种新颖的投影方法，将连续架构参数离散化为离散架构，严格保持延迟约束。
• 利用来自大型模型的知识蒸馏技术微调提取的子网络，将每模型的训练成本降低至仅15 GPU小时。

实验结果

研究问题

• RQ1 可微NAS方法是否能在整个搜索过程（包括架构离散化阶段）中强制实施硬性延迟约束？
• RQ2 与软约束方法相比，强制实施硬约束对最终架构的准确率和约束满足度有何影响？
• RQ3 所提出的方法是否能高效扩展至多个设备和延迟目标，且额外训练成本极低？
• RQ4 所提出的单次训练与知识蒸馏方案在多大程度上减少了生成最终模型的时间与成本，相较于从头训练？
• RQ5 与使用软惩罚的梯度下降方法相比，BC-SFW优化方法在约束遵守和收敛速度方面表现如何？

主要发现

• HardCoRe-NAS在所有延迟水平下均实现了ImageNet上的最先进（SOTA）top-1准确率，优于MobileNet V3、TF-NAS、MNAS-NET和SPNAS等方法。
• 该方法在所有测试延迟水平（35–60ms）下严格满足用户定义的延迟约束，离散化过程中未观察到任何违反情况。
• NAS中常用的argmax投影方法最多会使延迟约束超出10%，而HardCoRe-NAS提出的投影方法可实现精确合规。
• 知识蒸馏的使用使每子网络的模型生成时间缩短至仅15 GPU小时，总成本降低至400 + 15N小时，显著低于OFA的1200 + 25N小时。
• BC-SFW算法收敛更快，且在整个优化过程中保持硬约束，而使用软惩罚的梯度下降方法对超参数敏感，且常违反约束。
• 多路径采样显著提高了代理准确率与最终准确率之间的相关性（ρ = 0.99），并使Kendall’s τ提升0.35，表明架构排序更加可靠。