[論文レビュー] BlockSwap: Fisher-guided Block Substitution for Network Compression on a Budget

Jack Turner, Elliot J. Crowley+3 more|arXiv (Cornell University)|Jun 10, 2019

Advanced Neural Network Applications参考文献 49被引用数 13

ひとこと要約

BlockSwapは、目標パラメータ予算を満たすために、ブロックをより安価な代替品に置き換えることで深層ニューラルネットワークを圧縮する、高速でフィッシャー情報に基づく手法である。1つのミニバッチを用いてフィッシャー・ポテンシャルを計算することで、1つのGPUで5分未塔で高性能な混合ブロックタイプのネットワークを特定する。CIFAR-10、ImageNet、COCOの各ベンチマークで、単一ブロックタイプやベースライン圧縮手法を上回る性能を発揮する。

ABSTRACT

The desire to map neural networks to varying-capacity devices has led to the development of a wealth of compression techniques, many of which involve replacing standard convolutional blocks in a large network with cheap alternative blocks. However, not all blocks are created equally; for a required compute budget there may exist a potent combination of many different cheap blocks, though exhaustively searching for such a combination is prohibitively expensive. In this work, we develop BlockSwap: a fast algorithm for choosing networks with interleaved block types by passing a single minibatch of training data through randomly initialised networks and gauging their Fisher potential. These networks can then be used as students and distilled with the original large network as a teacher. We demonstrate the effectiveness of the chosen networks across CIFAR-10 and ImageNet for classification, and COCO for detection, and provide a comprehensive ablation study of our approach. BlockSwap quickly explores possible block configurations using a simple architecture ranking system, yielding highly competitive networks in orders of magnitude less time than most architecture search techniques (e.g. under 5 minutes on a single GPU for CIFAR-10). Code is available at https://github.com/BayesWatch/pytorch-blockswap.

研究の動機と目的

• 厳密なパラメータ予算の下で、高性能な混合ブロックタイプのニューラルネットワークアーキテクチャを効率的に同定する課題に対処すること。
• 圧縮ネットワークにおけるブロック置換のための包括的探索やニューラルアーキテクチャサーチ（NAS）の prohibitively 高い計算コストを克服すること。
• 完全なトレーニングを伴わずに、候補アーキテクチャを素早くランク付けできる手法を開発し、リソース制約のあるデバイスへの迅速な展開を可能にすること。
• 異なるブロックが異なる安価な代替品に置き換えられる非一様なブロック置換が、一様な置換や標準的な distillation よりも優れた性能を発揮することを検証すること。
• 画像分類（CIFAR-10、ImageNet）およびオブジェクト検出（COCO）を含む多様なベンチマークにおいて、本手法の有効性を示すこと。

提案手法

• 元のネットワークの各ブロックを、複数の利用可能な安価なブロックタイプのうちの1つに置き換えることで、混合ブロックタイプの候補アーキテクチャの集合をランダムにサンプリングし、合計パラメータ数が目標予算内に収まるようにする。
• 1つのミニバッチをネットワークを通過させ、すべてのブロックにわたる経験的フィッシャー情報の和を計算することで、各候補ネットワークのフィッシャー・ポテンシャルを算出する。これは、パラメータ更新に対するネットワークの感受性を推定する。
• フィッシャー・ポテンシャルに基づいて候補アーキテクチャをランク付けし、最高ランクのモデルを生徒ネットワークとして選択する。
• 生徒ネットワークを、元の教師ネットワークの特徴マップに従ってガイドするアテンション伝達を用いた知識蒸留法でトレーニングする。
• 各候補に対して1回の順伝播のみを用いて、性能の潜在的ポテンシャルを推定し、完全なトレーニングや高コストの探索ループを回避する。
• 高いフィッシャー・ポテンシャルが、一般化性能および表現能力の向上と相関しているという仮定を活用し、素早く正確なアーキテクチャ選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1回のバッチに基づくフィッシャーに基づく高速ランク付け手法が、パラメータ予算の制約下で、高性能な混合ブロックタイプのニューラルネットワークアーキテクチャを効果的に同定できるか？
• RQ2 異なるブロックが異なる安価な代替品に置き換えられる非一様なブロック置換が、一様な置換や標準的な蒸留法よりも優れた性能を発揮するか？
• RQ3 精度と探索効率の観点から、深さ/幅スケーリング、プルーニング、または単一ブロックタイプ置換といった既存の圧縮技術と比較して、BlockSwapはどのように差をつけるか？
• RQ4 BlockSwapは、画像分類やオブジェクト検出を含む、さまざまなタスクやデータセットに一般化可能か？
• RQ5 アーキテクチャランク付けの目的で使用されるフィッシャー・ポテンシャルが、最終的なモデル性能の信頼できる代理指標であるか？

主な発見

• BlockSwapは、CIFAR-10において1つのGPUで5分未塔で高性能な混合ブロックタイプのネットワークを同定し、NAS手法と比較して著しく探索時間を短縮した。
• ImageNetでは、800万パラメータのBlockSwapの生徒ネットワークがトップ-1誤差26.24％を達成し、教師ネットワーク（26.73％）および310万パラメータの単一ブロックタイプのG(N)生徒ネットワーク（30.16％）を上回った。
• 800万パラメータの条件下で、BlockSwapの生徒ネットワークはトップ-5誤差7.75％を達成し、ほぼ3倍少ないパラメータ数で教師ネットワークを0.82ポイント上回った。
• COCOオブジェクト検出では、BlockSwapのバックボーン（300万パラメータ）がAP23.4を達成し、同じパラメータ数の単一ブロックタイプのResNet-34-G(N)バックボーン（AP22.3）を上回った。
• フィッシャー・ポテンシャルのランク付け指標は、最終的なモデル性能と高い相関を示し、アーキテクチャ選択のための高速で信頼性の高い代理指標としての有効性が裏付けられた。
• アブレーションスタディにより、混合ブロックタイプのネットワークが、単一ブロックタイプまたは一様に置換されたネットワークを一貫して上回ることが確認され、非一様なブロック置換の利点が示された。