[論文レビュー] Joint Neural Architecture Search and Quantization

Yukang Chen, Gaofeng Meng+5 more|arXiv (Cornell University)|Nov 23, 2018

Advanced Neural Network Applications参考文献 29被引用数 21

ひとこと要約

本論文では、ニューラルアーキテクチャと各層の量子化ポリシーを同時に最適化するための、マルチオブジェクティブな進化的アルゴリズムを用いた、JASQと呼ばれる共同ニューラルアーキテクチャ探索と量子化フレームワークを提案する。この手法は、浮動小数点モデルや2〜16ビット量子化モデルを上回る、最新の精度とモデルサイズのトレードオフを達成しており、JASQNetはCIFAR-10でわずか0.9 MBのモデルサイズで2.97%の誤差率を達成している。

ABSTRACT

Designing neural architectures is a fundamental step in deep learning applications. As a partner technique, model compression on neural networks has been widely investigated to gear the needs that the deep learning algorithms could be run with the limited computation resources on mobile devices. Currently, both the tasks of architecture design and model compression require expertise tricks and tedious trials. In this paper, we integrate these two tasks into one unified framework, which enables the joint architecture search with quantization (compression) policies for neural networks. This method is named JASQ. Here our goal is to automatically find a compact neural network model with high performance that is suitable for mobile devices. Technically, a multi-objective evolutionary search algorithm is introduced to search the models under the balance between model size and performance accuracy. In experiments, we find that our approach outperforms the methods that search only for architectures or only for quantization policies. 1) Specifically, given existing networks, our approach can provide them with learning-based quantization policies, and outperforms their 2 bits, 4 bits, 8 bits, and 16 bits counterparts. It can yield higher accuracies than the float models, for example, over 1.02% higher accuracy on MobileNet-v1. 2) What is more, under the balance between model size and performance accuracy, two models are obtained with joint search of architectures and quantization policies: a high-accuracy model and a small model, JASQNet and JASQNet-Small that achieves 2.97% error rate with 0.9 MB on CIFAR-10.

研究の動機と目的

• 効率的なモバイルデプロイのためのニューラルアーキテクチャと量子化ポリシーの自動的共同設計を実現すること。
• モデル圧縮およびアーキテクチャ探索における人間の専門知識と手動チューニングの削減を図ること。
• 分離されたアーキテクチャ探索または量子化探索よりも、より優れた精度とモデルサイズのトレードオフを達成すること。
• 既存のネットワークに対して学習可能な、レイヤー固有の量子化ポリシーを提供すること。

提案手法

• アーキテクチャと量子化ポリシーの共同探索空間を探索するために、マルチオブジェクティブな進化的アルゴリズムが用いられる。
• フィットネス評価では、モデルの精度とモデルサイズの両方を考慮し、パレート最適なフロントが探索をガイドする。
• スカラライズド目的関数に調整可能なしきい値 $\mathcal{T}_S$ を用いることで、柔軟なトレードオフが可能となる。
• 集団の進化にはトーナメント選択が用いられ、2つのハイパーパrameter（集団サイズ $\#P$ とサンプルサイズ $\#S$）を有する。
• 訓練の高速化のため、集団内の個体間でパラメータ共有が適用される。
• ストレージオーバーヘッドを削減するために、ハフマン符号化が量子化重みの表現に用いられる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャと量子化ポリシーの共同探索は、それぞれを別々に最適化するのを上回る性能を発揮できるか？
• RQ2 レイヤーごとに適応的な量子化ポリシーは、一様なビット幅量子化と比較して精度を向上させられるか？
• RQ3 提案手法は、高精度なフルプレシジョンモデルと競合できるコンパクトなモデルを生成できるか？
• RQ4 異なるハードウェア制約下で、共同探索フレームワークは精度とモデルサイズのバランスをどのようにとるか？

主な発見

• JASQNetはCIFAR-10でわずか0.9 MBのモデルサイズで2.97%の誤差率を達成し、SqueezeNetよりも高い精度でありながら、はるかに小型である。
• JASQNet-SmallはImageNetで65.90%のトップ-1精度を達成し、SqueezeNetの58.09%を上回り、同程度のモデルサイズである。
• 量子化されたJASQNetモデルは、MobileNet-v1の浮動小数点モデルと比較して1.02%以上の高い精度を達成している。
• ResNet や DenseNet などの既存ネットワークに対して、JASQが学習した量子化ポリシーは、2ビット、4ビット、8ビット、16ビット量子化バージョンをすべて上回っている。
• 共同探索には1つのGPUを3日間使用するのみで、既存モデルの量子化ポリシーの探索は数時間で完了する。
• 探索プロセスは効率的であり、ハイパーパramータのアブレーションにより、$\#P = 16$, $\#S = 16$ で最適な性能が得られると判明した。