[論文レビュー] EfficientNet-eLite: Extremely Lightweight and Efficient CNN Models for Edge Devices by Network Candidate Search

Ching-Chen Wang, Ching-Te Chiu+1 more|arXiv (Cornell University)|Sep 16, 2020

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、エッジデバイス向けに極めて軽量なCNNモデルであるEfficientNet-eLiteのファミリーを提案する。新規のネットワーク候補探索（NCS）手法を用い、リソース使用量ごとにモデルをグループ化し、トーナメント方式の削減手法を適用することで、高精度かつ低オーバーヘッドなアーキテクチャを特定する。この手法は、MnasNetなどの最先端モデルを上回り、最小のEfficientNet-eLiteモデルではパラメータが1.46倍少なく、ImageNetでの精度が0.56%高い。

ABSTRACT

Embedding Convolutional Neural Network (CNN) into edge devices for inference is a very challenging task because such lightweight hardware is not born to handle this heavyweight software, which is the common overhead from the modern state-of-the-art CNN models. In this paper, targeting at reducing the overhead with trading the accuracy as less as possible, we propose a novel of Network Candidate Search (NCS), an alternative way to study the trade-off between the resource usage and the performance through grouping concepts and elimination tournament. Besides, NCS can also be generalized across any neural network. In our experiment, we collect candidate CNN models from EfficientNet-B0 to be scaled down in varied way through width, depth, input resolution and compound scaling down, applying NCS to research the scaling-down trade-off. Meanwhile, a family of extremely lightweight EfficientNet is obtained, called EfficientNet-eLite. For further embracing the CNN edge application with Application-Specific Integrated Circuit (ASIC), we adjust the architectures of EfficientNet-eLite to build the more hardware-friendly version, EfficientNet-HF. Evaluation on ImageNet dataset, both proposed EfficientNet-eLite and EfficientNet-HF present better parameter usage and accuracy than the previous start-of-the-art CNNs. Particularly, the smallest member of EfficientNet-eLite is more lightweight than the best and smallest existing MnasNet with 1.46x less parameters and 0.56% higher accuracy. Code is available at https://github.com/Ching-Chen-Wang/EfficientNet-eLite

研究の動機と目的

• IoTやウェアラブルシステムなどのリソース制約のあるエッジデバイスに重いCNNモデルをデプロイする課題に対処すること。
• EfficientNet-B0をスケーリングダウンする際の、モデル効率（パラメータ数、FLOPs）と精度のトレードオフを調査すること。
• エッジ推論に適した、軽量かつ高精度なCNNアーキテクチャを体系的に特定する手法を開発すること。
• ASIC向けに最適化されたアーキテクチャ調整により、ハードウェア互換性を向上させること（EfficientNet-HFを提案）。
• ニューラルアーキテクチャ探索における探索コストとトレーニング負荷を低減するため、グループ化とトーナメント方式の削減戦略を導入すること。

提案手法

• ネットワーク候補探索（NCS）は2段階のプロセスとして導入される：まず、類似したパラメータ数とFLOPsを持つモデルをグループ化し、次に上位候補を絞り込むためのトーナメント方式を適用する。
• 候補モデルは、幅、深さ、入力解像度、コンパoundスケーリングの4つの要因でEfficientNet-B0をスケーリングダウンすることで生成され、元のEfficientNetの比率を維持する。
• パラメータ数とFLOPsが類似したリソース使用量に基づいてモデルをグループ化し、各グループ内での公平な比較を保証する。
• トーナメント方式では、トレーニング中の平均精度を用いて最終的な性能を予測する代理指標として使用し、早期終了を可能にすることでGPUコストを削減する。
• 入力解像度を128×128または256×256に調整し、コンパundチャネルラウンドを適用することで、ハードウェアに優しいバージョン（EfficientNet-HF）を生成する。
• コンパundチャネルラウンド（式7）は、構造的歪みを最小限に抑えつつ、チャネル数を2のべき乗に保つために、切り上げまたは切り下げのどちらを選ぶかを決定する。

実験結果

リサーチクエスチョン

• RQ1 幅、深さ、入力解像度をスケーリングダウンすることで、EfficientNetにおける精度と効率のトレードオフにどのような影響を与えるか？
• RQ2 ネットワーク候補探索（NCS）のような体系的な探索手法は、高精度かつ低リソース使用量の軽量CNNモデルを効果的に特定できるか？
• RQ3 EfficientNetをスケーリングダウンする際、入力解像度、幅、深さのそれぞれがモデル性能に与える相対的影響は何か？
• RQ4 精度を損なわずに、ASICデプロイに適したCNNアーキテクチャをどのように設計できるか？
• RQ5 提案されたNCS手法は、EfficientNetに限らず、他のニューラルネットワークタイプに対しても一般化可能か？

主な発見

• 最小のEfficientNet-eLiteモデルは、最良かつ最小のMnasNetと比較して、パラメータ数が1.46倍少なく、ImageNetでのTop-1精度が0.56%高い。
• EfficientNet-eLite 9は、MobileNet V3 Large 1.0よりも高い精度を達成しているが、パラメータ数は378万、FLOPsは2億9688万にとどまる。
• 同じリソース制約下で、入力解像度が高め（r₁またはr₂）のモデルが一貫して他のモデルを上回り、スケーリングダウン段階で入力情報の重要性が幅や深さよりも顕著であることが示された。
• 平均精度を評価基準として用いたトーナメント方式は、最終的なモデル性能を効果的に予測でき、GPUトレーニングコストを削減した。
• 128×128および256×256の入力解像度を持つEfficientNet-HFモデルは、2のべき乗の特徴マップサイズと効率的な演算を実現し、ハードウェア互換性が向上した。
• ImageNetでは、EfficientNet-eLiteおよびEfficientNet-HFの両方のモデルが、先行する最先端モデルよりもパラメータ効率が高く、精度も高いことが図1および図7で示された。