[論文レビュー] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

Mingxing Tan, Quoc V. Le|arXiv (Cornell University)|May 28, 2019

Advanced Neural Network Applications参考文献 50被引用数 5,012

ひとこと要約

本論文は、深さ、幅、解像度を均一に拡張する原理的な複合スケーリング法を提案し、EfficientNetsのファミリーを以前のConvNetsよりも高い精度と効率で生み出す。NAS設計ベースライン（EfficientNet-B0）から始まる。

ABSTRACT

Convolutional Neural Networks (ConvNets) are commonly developed at a fixed resource budget, and then scaled up for better accuracy if more resources are available. In this paper, we systematically study model scaling and identify that carefully balancing network depth, width, and resolution can lead to better performance. Based on this observation, we propose a new scaling method that uniformly scales all dimensions of depth/width/resolution using a simple yet highly effective compound coefficient. We demonstrate the effectiveness of this method on scaling up MobileNets and ResNet. To go even further, we use neural architecture search to design a new baseline network and scale it up to obtain a family of models, called EfficientNets, which achieve much better accuracy and efficiency than previous ConvNets. In particular, our EfficientNet-B7 achieves state-of-the-art 84.3% top-1 accuracy on ImageNet, while being 8.4x smaller and 6.1x faster on inference than the best existing ConvNet. Our EfficientNets also transfer well and achieve state-of-the-art accuracy on CIFAR-100 (91.7%), Flowers (98.8%), and 3 other transfer learning datasets, with an order of magnitude fewer parameters. Source code is at https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet.

研究の動機と目的

• 単一次元のスケーリングを超える効率的なConvNetスケーリングを動機づけ、固定リソース予算下で精度を向上させる。
• 深さ、幅、解像度を固定リソース曲線の下でバランスさせる複合スケーリング法を提案する。
• ニューラルアーキテクチャ探索によってモバイル規模のベースラインネットワークを開発する（EfficientNet-B0）。
• 複合スケーリングがImageNetおよび転移タスクで従来のConvNetを上回るEfficientNetsのファミリーを生み出すことを示す。

提案手法

• ConvNet を全層で一様にスケーリングするスタックとして定式化する。
• 係数 (phi, alpha, beta, gamma) を用いた複合スケーリングを導入し、d=alpha^phi, w=beta^phi, r=gamma^phi となり、alpha*beta^2*gamma^2≈2 である。
• 精度と FLOPS を最適化する多目的ニューラルアーキテクチャ探索により EfficientNet-B0 を構築する。
• 固定スケーリング係数で EfficientNet-B0 をスケールして EfficientNet-B1 ... EfficientNet-B7 を得る。
• 性能を向上させるためにトレーニングの工夫（SiLU/Swish活性化、AutoAugment、確率的深さ、ドロップアウトスケジューリング）を使用する。
• ImageNet および転移データセットにおいて、基準モデル（ResNet、GPipe、NASNet など）と比較する。

実験結果

リサーチクエスチョン

• RQ1 ConvNet の複数の次元（深さ、幅、解像度）を調整的かつ原則的にスケーリングすることで、精度と効率の両方を向上させることができるか？
• RQ2 principled method によってスケールされた最小限のベースラインアーキテクチャは、より少ないパラメータと FLOPS で最先端の性能を達成できるか？
• RQ3 スケールされた EfficientNets は既存のアーキテクチャと比較して他のデータセットへどれくらい転移するか？
• RQ4 モデルサイズとハードウェア制約を横断する実用的なスケーリング規則は存在するか？

主な発見

• EfficientNet-B7 は ImageNet で 84.3% top-1 accuracy を 66M parameters と 37B FLOPS で達成し、GPipe よりパラメータを 8.4x、推論を 6.1x 速く上回る。
• EfficientNet のモデルは、従来の ConvNets に比べてパラメータと FLOPS の大幅な削減を実現しつつ、同等またはそれ以上の精度を提供する（最大でパラメータ 8.4x、FLOPS 16x の削減）。
• EfficientNet-B4 は ResNet-50 の top-1 精度を 76.3% から 83.0% に改善し、FLOPS は同程度。
• 転移学習では、EfficientNets が 8 データセット中 5 で最先端の精度を達成し、従来のベスト結果より最大で 21x 少ないパラメータで達成。
• EfficientNet-B1 は ResNet-152 より 5.7x、EfficientNet-B7 は GPipe より CPU latency 測定で 6.1x 速い。