[论文解读] EfficientNet-eLite: Extremely Lightweight and Efficient CNN Models for Edge Devices by Network Candidate Search

Ching-Chen Wang, Ching-Te Chiu+1 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Neural Network Applications被引用 4

一句话总结

该论文提出 EfficientNet-eLite，一种专为边缘设备设计的极轻量级卷积神经网络（CNN）模型家族，采用一种新颖的网络候选搜索（NCS）方法，通过按资源使用量分组模型并应用淘汰赛制来识别高精度、低开销的网络架构。该方法在性能上优于当前最先进模型（如 MnasNet），其中最小的 EfficientNet-eLite 模型在 ImageNet 上实现 1.46 倍更少的参数量和 0.56% 更高的准确率。

ABSTRACT

Embedding Convolutional Neural Network (CNN) into edge devices for inference is a very challenging task because such lightweight hardware is not born to handle this heavyweight software, which is the common overhead from the modern state-of-the-art CNN models. In this paper, targeting at reducing the overhead with trading the accuracy as less as possible, we propose a novel of Network Candidate Search (NCS), an alternative way to study the trade-off between the resource usage and the performance through grouping concepts and elimination tournament. Besides, NCS can also be generalized across any neural network. In our experiment, we collect candidate CNN models from EfficientNet-B0 to be scaled down in varied way through width, depth, input resolution and compound scaling down, applying NCS to research the scaling-down trade-off. Meanwhile, a family of extremely lightweight EfficientNet is obtained, called EfficientNet-eLite. For further embracing the CNN edge application with Application-Specific Integrated Circuit (ASIC), we adjust the architectures of EfficientNet-eLite to build the more hardware-friendly version, EfficientNet-HF. Evaluation on ImageNet dataset, both proposed EfficientNet-eLite and EfficientNet-HF present better parameter usage and accuracy than the previous start-of-the-art CNNs. Particularly, the smallest member of EfficientNet-eLite is more lightweight than the best and smallest existing MnasNet with 1.46x less parameters and 0.56% higher accuracy. Code is available at https://github.com/Ching-Chen-Wang/EfficientNet-eLite

研究动机与目标

• 为解决在物联网和可穿戴系统等资源受限的边缘设备上部署重型 CNN 模型的挑战。
• 探索在缩小 EfficientNet-B0 时，模型效率（参数量、FLOPs）与准确率之间的权衡。
• 开发一种系统化方法，以识别适用于边缘推理的轻量级、高准确率 CNN 架构。
• 通过针对 ASIC 的架构调整设计硬件友好型变体（EfficientNet-HF），提升硬件兼容性。
• 通过引入分组与淘汰赛策略，降低神经架构搜索中的搜索成本与训练负担。

提出的方法

• 提出网络候选搜索（NCS）作为两阶段流程：首先根据相似的参数量和 FLOPs 对模型进行分组，随后通过淘汰赛制筛选出表现最佳的候选模型。
• 通过按宽度、深度、输入分辨率和复合缩放方式缩小 EfficientNet-B0 来生成候选模型，同时保持与原始 EfficientNet 相同的比例关系。
• 基于相近的资源使用量（参数量与 FLOPs）对模型进行分组，确保组内比较的公平性。
• 淘汰赛制使用训练过程中的平均准确率作为代理指标来预测最终性能，从而实现早期停止，降低 GPU 成本。
• 通过将输入分辨率调整为 128×128 或 256×256 并应用复合通道四舍五入，生成硬件友好型变体（EfficientNet-HF），使通道数为 2 的幂。
• 复合通道四舍五入（公式 7）在向上或向下取整之间进行选择，以最小化结构失真，同时保持通道数为 2 的幂。

实验结果

研究问题

• RQ1 缩小宽度、深度和输入分辨率如何影响 EfficientNet 中的准确率与效率之间的权衡？
• RQ2 像网络候选搜索（NCS）这样的系统化搜索方法能否有效识别出轻量级、高准确率且资源消耗低的 CNN 模型？
• RQ3 在缩小 EfficientNet 时，输入分辨率、宽度和深度对模型性能的相对影响是什么？
• RQ4 如何使 CNN 架构更适用于 ASIC 部署，同时不牺牲准确率？
• RQ5 所提出的 NCS 方法能否在 EfficientNet 之外的其他神经网络类型上实现泛化？

主要发现

• 最小的 EfficientNet-eLite 模型相比最佳且最小的 MnasNet，在 ImageNet 上实现 1.46 倍更少的参数量和 0.56% 更高的 Top-1 准确率。
• EfficientNet-eLite 9 在仅使用 378 万参数和 2.9688 亿 FLOPs 的情况下，准确率高于 MobileNet V3 Large 1.0。
• 在相似资源约束下，输入分辨率更高的模型（r₁ 或 r₂）始终表现更优，表明在缩小过程中，输入信息的重要性超过宽度或深度。
• 以平均准确率为选择标准的淘汰赛制能有效预测最终模型性能，从而降低 GPU 训练成本。
• 采用 128×128 和 256×256 输入分辨率的 EfficientNet-HF 模型通过实现 2 的幂次特征图大小和高效运算，显著提升了硬件兼容性。
• 在 ImageNet 上，EfficientNet-eLite 和 EfficientNet-HF 均实现了比先前 SOTA 模型更高的参数效率和准确率，如图 1 和图 7 所示。