[論文レビュー] NetAdapt: Platform-Aware Neural Network Adaptation for Mobile Applications

Tien-Ju Yang, Andrew Howard+6 more|arXiv (Cornell University)|Apr 9, 2018

Advanced Neural Network Applications参考文献 22被引用数 72

ひとこと要約

NetAdapt は、プリトレーニング済みの DNN をモバイルプラットフォームのリソース予算に合わせて自動的に簡略化し、遅延のような直接的な指標を用い、実測値を通じて精度を最大化します。

ABSTRACT

This work proposes an algorithm, called NetAdapt, that automatically adapts a pre-trained deep neural network to a mobile platform given a resource budget. While many existing algorithms simplify networks based on the number of MACs or weights, optimizing those indirect metrics may not necessarily reduce the direct metrics, such as latency and energy consumption. To solve this problem, NetAdapt incorporates direct metrics into its adaptation algorithm. These direct metrics are evaluated using empirical measurements, so that detailed knowledge of the platform and toolchain is not required. NetAdapt automatically and progressively simplifies a pre-trained network until the resource budget is met while maximizing the accuracy. Experiment results show that NetAdapt achieves better accuracy versus latency trade-offs on both mobile CPU and mobile GPU, compared with the state-of-the-art automated network simplification algorithms. For image classification on the ImageNet dataset, NetAdapt achieves up to a 1.7$\times$ speedup in measured inference latency with equal or higher accuracy on MobileNets (V1&V2).

研究の動機と目的

• 間接的なプロキシではなく、直接的なリソース指標を用いるプラットフォーム対応ネットワーク適応の必要性を動機づける。
• プリトレーニング済みネットワークを、遅延予算を満たしつつ精度を最大化する自動的な反復アルゴリズム NetAdapt を提案する。
• NetAdapt が CPU および GPU 搭載モバイルプラットフォーム上の MobileNets で、最先端の自動的な簡略化手法を上回ることを示す。

提案手法

• 適応を、リソース予算の下で精度を最大化する非凸制約付き最適化として定式化する。
• 個々のレイヤーからフィルターを削除してネットワーク提案を反復的に生成し、ターゲットプラットフォームで実測値を用いて評価する。
• 反復ごとに制約を厳格化するリソース削減スケジュールを使用し、各ステップで最高精度のネットワークを選択する。
• 簡略化後の精度を回復するために短期および長期のファインチューニングを用いる。
• 実測値から構築された層ごとのルックアップテーブルを用いてリソース消費を迅速に推定し、提案の迅速な指針を可能にする。

Figure 1: NetAdapt automatically adapts a pretrained network to a mobile platform given a resource budget. This algorithm is guided by the direct metrics for resource consumption. NetAdapt eliminates the requirement of platform-specific knowledge by using empirical measurements to evaluate the direc

実験結果

リサーチクエスチョン

• RQ1 ターゲットモバイルプラットフォームで測定された直接的な指標（例：遅延） は、間接的なプロキシ（例：MACs）よりも優れた精度-遅延のトレードオフをもたらすことができるか？
• RQ2 プラットフォーム固有のモデリングなしに、プリトレーニング済みネットワークを遅延予算に自動的に適応させることはどれほど効果的か？
• RQ3 NetAdapt の適応過程における短期ファインチューニングと長期ファインチューニングの影響は？
• RQ4 実測値に基づく層ごとのフィルター削除は、MobileNet のバリアント全体でスケーラブルな改善をもたらすか？

主な発見

Network	Top-1 Accuracy (%)	MACs (×10^6)	Latency (ms)
25% MobileNetV1 (128) [9]	45.1	13.6	4.65
MorphNet [5]	46.0	15.0	6.52
NetAdapt	46.3	11.0	6.01

• NetAdapt は、測定された推論遅延で最大 1.7x、モバイル CPU および GPU で同等または高い精度とともに、最先端の自動的なネットワーク簡略化手法を上回る。
• ImageNet および MobileNetV1 で、NetAdapt は MobileNets (V1 & V2) で同等またはより高い精度とともに遅延を最大 1.7x の高速化を達成。
• 実験は、NetAdapt が multipliers、MorphNet、ADC と比較して、モバイル CPU および GPU プラットフォーム全体でより良い精度-遅延のトレードオフを提供することを示す。
• 異なる精度-遅延トレードオフを持つ簡略化されたネットワークのファミリが生成され、動的なネットワーク選択を可能にする。
• アブレーションにより、直接的な指標、短期・長期ファインチューニング、およびリソース削減スケジュールが性能向上を達成する上で重要であることを示す。

Figure 2: This figure visualizes the algorithm flow of NetAdapt. At each iteration, NetAdapt decreases the resource consumption by simplifying (i.e., removing filters from) one layer. In order to maximize accuracy, it tries to simplify each layer individually and picks the simplified network that ha