[论文解读] CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment

Manas Sahni, Shreya Varshini+2 more|arXiv (Cornell University)|Apr 26, 2021

Advanced Neural Network Applications被引用 11

一句话总结

CompOFA 提出了一种复合耦合启发式方法，将 Once-For-All (OFA) 网络的搜索空间大幅缩减，从 10^19 个配置减少至仅 243 个，通过利用深度-宽度-分辨率的耦合关系实现。该方法使训练速度提升 2 倍、模型搜索速度提升 216 倍，并降低二氧化碳排放，同时在多种硬件和延迟目标下保持了帕累托最优的准确性。

ABSTRACT

The emergence of CNNs in mainstream deployment has necessitated methods to design and train efficient architectures tailored to maximize the accuracy under diverse hardware & latency constraints. To scale these resource-intensive tasks with an increasing number of deployment targets, Once-For-All (OFA) proposed an approach to jointly train several models at once with a constant training cost. However, this cost remains as high as 40-50 GPU days and also suffers from a combinatorial explosion of sub-optimal model configurations. We seek to reduce this search space -- and hence the training budget -- by constraining search to models close to the accuracy-latency Pareto frontier. We incorporate insights of compound relationships between model dimensions to build CompOFA, a design space smaller by several orders of magnitude. Through experiments on ImageNet, we demonstrate that even with simple heuristics we can achieve a 2x reduction in training time and 216x speedup in model search/extraction time compared to the state of the art, without loss of Pareto optimality! We also show that this smaller design space is dense enough to support equally accurate models for a similar diversity of hardware and latency targets, while also reducing the complexity of the training and subsequent extraction algorithms.

研究动机与目标

• 解决 Once-For-All (OFA) 网络因大量次优模型配置导致的训练成本过高及组合爆炸问题。
• 在不牺牲跨多样化部署平台的准确率-延迟权衡帕累托最优性的情况下，缩小架构搜索空间。
• 通过将模型配置限制在准确率-延迟前沿附近，最小化联合权重共享过程中的干扰。
• 通过简化设计空间并消除对延迟估计器的依赖，实现更快、更高效的模型提取与部署。
• 在如 ProxylessNAS 等不同基础架构上验证复合耦合启发式方法的泛化能力。

提出的方法

• 应用复合缩放原则——耦合深度、宽度和分辨率——将搜索空间限制为仅 243 个配置，而非 OFA 的 10^19 个。
• 采用一种启发式方法，在多个维度（深度、宽度、分辨率）上协调增加模型容量，基于对准确率-延迟权衡改善的实证观察。
• 以单次、一次性的方式训练 CompOFA 超网络，共享权重，但配置数量显著减少，从而降低训练干扰。
• 通过更小、更一致的设计空间，消除渐进式缩小的需要，减少干扰。
• 在进化搜索过程中实现记忆化，缓存测量到的延迟，从而实现直接、实时的延迟评估，而非依赖代理估计器。
• 在 MobileNetV3 和 ProxylessNAS 架构上验证该方法，以证明其泛化能力与一致的性能提升。

实验结果

研究问题

• RQ1 通过模型维度之间的复合耦合显著缩小的搜索空间，是否能维持准确率与延迟之间的帕累托最优？
• RQ2 将模型配置数量从 10^19 减少到 243，是否显著降低了训练干扰，并使训练时间缩短一半？
• RQ3 更小的设计空间在不损失模型多样性或准确率的前提下，对模型搜索与提取速度的提升程度如何？
• RQ4 复合耦合启发式方法能否泛化至 MobileNetV3 以外的其他基础架构？
• RQ5 用直接测量替代延迟估计器，是否能提升实际可用性并减少开发开销？

主要发现

• CompOFA 将模型配置数量从 OFA 的 10^19 个减少至仅 243 个，实现了 17 个数量级的搜索空间规模缩减。
• 由于干扰减少并去除了渐进式缩小步骤，训练时间减少 2 倍，训练预算减半。
• 模型搜索与提取速度提升 216 倍，因为更小的设计空间允许通过记忆化实现直接延迟测量，而非依赖代理估计器。
• 尽管搜索空间更小，CompOFA 在相同模型配置下仍保持或略微超过 OFA 的准确率，如 CDF 对比所示。
• 该方法可泛化至其他架构：当应用于 ProxylessNAS 时，CompOFA 再次实现了相同或更高的准确率，且训练预算减半。
• 由于训练时间减少 2 倍，二氧化碳排放量和美元成本成比例降低，使该方法更具可持续性与可扩展性。