[论文解读] FBNetV3: Joint Architecture-Recipe Search using Neural Acquisition Function

Xiaoliang Dai, Alvin Wan+9 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Neural Network Applications参考文献 23被引用 52

一句话总结

FBNetV3 提出了一种名为 JointNAS 的方法，该方法通过使用神经获取函数，联合搜索神经网络架构及其最优训练配方。该函数在代理数据集上进行预训练，从而实现高效的联合优化，最终生成了当前最先进的紧凑型 ImageNet 模型，其准确率与 EfficientNet 和 ResNeSt 相当，但参数量分别减少了 1.4 倍和 5.0 倍。

ABSTRACT

Neural Architecture Search (NAS) yields state-of-the-art neural networks that outperform their best manually-designed counterparts. However, previous NAS methods search for architectures under one training recipe (i.e., training hyperparameters), ignoring the significance of training recipes and overlooking superior architectures under other training recipes. Thus, they fail to find higher-accuracy architecture-recipe combinations. To address this oversight, we present JointNAS to search both (a) architectures and (b) their corresponding training recipes. To accomplish this, we introduce a neural acquisition function that scores architectures and training recipes jointly. Following pre-training on a proxy dataset, this acquisition function guides both coarse-grained and fine-grained searches to produce FBNetV3. FBNetV3 is a family of state-of-the-art compact ImageNet models, outperforming both automatically and manually-designed architectures. For example, FBNetV3 matches both EfficientNet and ResNeSt accuracy with 1.4x and 5.0x fewer FLOPs, respectively. Furthermore, the JointNAS-searched training recipe yields significant performance gains across different networks and tasks.

研究动机与目标

• 为解决先前 NAS 方法仅在单一固定训练配方下优化架构的局限性。
• 探讨假设：更优性能源于最优的架构-配方组合，而不仅仅是架构本身。
• 开发一种联合搜索框架，同时探索架构与训练配方空间。
• 为资源受限设备上的高效推理，生成一系列紧凑且高准确率的模型。

提出的方法

• 提出一种神经获取函数，在搜索过程中联合评估架构及其对应的训练配方。
• 在代理数据集上预训练该获取函数，以指导架构与配方空间中的高效搜索。
• 首先在架构空间中进行粗粒度搜索，然后利用预训练的获取函数在配方空间中进行细粒度搜索。
• 通过联合搜索过程发现 FBNetV3，即一组经过优化的架构-配方对组成的紧凑型 ImageNet 模型。
• 利用学习到的获取函数识别高性能组合，而无需进行全量搜索。
• 在多种网络结构与任务上验证所发现配方的有效性，证明其具有良好的泛化能力。

实验结果

研究问题

• RQ1 联合搜索架构与训练配方是否能优于仅优化架构的搜索方法？
• RQ2 能够建模架构-配方交互关系的神经获取函数，如何提升搜索效率与准确率？
• RQ3 当同时对架构与训练配方进行联合优化时，紧凑型模型可实现多大的性能提升？
• RQ4 所发现的训练配方是否能在不同网络架构与任务上实现泛化？
• RQ5 该联合搜索框架能否生成优于人工设计与自动设计模型的性能？

主要发现

• FBNetV3 在参数量减少 1.4 倍的情况下，达到与 EfficientNet 相当的准确率，展现出卓越的效率。
• FBNetV3 在参数量减少 5.0 倍的情况下，达到与 ResNeSt 相当的准确率，凸显显著的计算优势。
• JointNAS 优化后的训练配方在多个网络与任务中均提升了性能，表明其具有强大的泛化能力。
• 神经获取函数可在无需在搜索阶段进行完整训练的情况下，实现有效的联合搜索。
• 该方法发现了优于人工设计与先前 NAS 优化模型的架构-配方组合。
• 预训练的获取函数通过有效引导粗粒度与细粒度搜索，显著降低了搜索成本。