[論文レビュー] Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets

Kai Han, Yunhe Wang+4 more|arXiv (Cornell University)|Oct 28, 2020

Advanced Neural Network Applications参考文献 56被引用数 37

ひとこと要約

この論文は TinyNet を導入します。TinyNet は FLOPs 制約下で解像度、深さ、幅を共同にねじることでネットワークを縮小するための小さな公式を提案し、ガウス過程回帰を用いて FLOPs を解像度と深さにマッピングし、FLOPs から幅を導出します。TinyNets は ImageNet ベンチマークで inverse-EfficientNet の縮小を上回ります。

ABSTRACT

To obtain excellent deep neural architectures, a series of techniques are carefully designed in EfficientNets. The giant formula for simultaneously enlarging the resolution, depth and width provides us a Rubik's cube for neural networks. So that we can find networks with high efficiency and excellent performance by twisting the three dimensions. This paper aims to explore the twisting rules for obtaining deep neural networks with minimum model sizes and computational costs. Different from the network enlarging, we observe that resolution and depth are more important than width for tiny networks. Therefore, the original method, i.e., the compound scaling in EfficientNet is no longer suitable. To this end, we summarize a tiny formula for downsizing neural architectures through a series of smaller models derived from the EfficientNet-B0 with the FLOPs constraint. Experimental results on the ImageNet benchmark illustrate that our TinyNet performs much better than the smaller version of EfficientNets using the inversed giant formula. For instance, our TinyNet-E achieves a 59.9% Top-1 accuracy with only 24M FLOPs, which is about 1.9% higher than that of the previous best MobileNetV3 with similar computational cost. Code will be available at https://github.com/huawei-noah/ghostnet/tree/master/tinynet_pytorch, and https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/tinynet.

研究の動機と目的

• モバイル/エッジデバイス向けにニューラルネットワークを効果的に縮小する必要性を動機づける。
• 小型ネットワークにとって解像度、深さ、幅の相対的重要性を調査する。
• フロンティアモデルに基づくデータ駆動型の縮小ルール（tiny formula）を開発する。
• FLOPs 制約下で解像度と深さへ焦点を当てた縮小が TinyNet の性能向上につながることを示す。
• TinyNet は ImageNet のベンチマークで naively inverted EfficientNet scaling よりも優れていることを示す。

提案手法

• 固定 FLOPs の下で基線ネットワークのバリエーションの精度と FLOPs のトレードオフを評価する。
• 解像度と深さが幅よりも小型モデルにとって影響が大きいことを特定する。
• Pareto 前線選択（NSGA-III）を用いて高性能・低 FLOPs のモデルを収集する。
• 観測されたフロンティアモデルを用いて r(dimension) と d(dimension) のマッピングをガウス過程回帰（GP）でモデリングする。
• FLOPs から幅 w を w = sqrt(c/(r^2 d)) で算出する。
• tiny formula を EfficientNet-B0 および ResNet-50 に適用して TinyNet 変種を生成する。

実験結果

リサーチクエスチョン

• RQ1 小型モデルで固定 FLOPs 予算の下で解像度、深さ、幅は個別に性能にどのような影響を与えるか？
• RQ2 データ駆動型のルールは tiny nets の縮小を inverse EfficientNet スケーリングよりも改善できるか？
• RQ3 与えられた FLOPs 制約の下で精度を最大化する (解像度、深さ、幅) の最適な組み合わせは何か？
• RQ4 tiny formula は EfficientNet-B0 以外のアーキテクチャ（例：ResNet-50）や下流タスクにも一般化するか？

主な発見

Model	Weights	FLOPs	Top-1 Acc.	Top-5 Acc.
EfficientNet-B -1	200M	200M	75.8%	-
EfficientNet-B -2	97M	97M	72.1%	-
shrink B0 by r=0.70	196M	196M	74.9%	-
shrink B0 by r=0.46	103M	103M	70.3%	-
shrink B0 by d=0.45	196M	196M	76.5%	-
shrink B0 by w=0.65	205M	205M	77.2%	-
TinyNet-B (ours)	201M	201M	77.6%	-
TinyNet-C (ours)	97M	97M	74.1%	-

• TinyNet-E は 24M FLOPs で Top-1 精度 59.9% を達成し、同程度のコストで MobileNetV3 Small 0.5× より約 1.9%高い。
• TinyNet-A は ImageNet-1000 で 339M FLOPs に対して Top-1 精度 76.8% を達成し、387M FLOPs の EfficientNet-B0 にやや勝る（76.7%）。
• TinyNet-A および TinyNet-E は inverse EfficientNet ルールや単一次元の変化（r, d, または w）よりも良い精度/FLOPs トレードオフを示す。
• TinyNet-D は MS COCO で 52M FLOPs、19.2 mAP を提供し、同様のコスト下で EfficientNet-B-3 を上回る。
• tiny formula による縮小はモバイル上の待機時間を改善し（例：TinyNet-A は EfficientNet-B0 とほぼ同等の精度で 15% 速い）、レイテンシを改善する。
• tiny formula は Shrinking ResNet-50 と GhostNet へ一般化し ImageNet で一貫した利得を生む。