[論文レビュー] Neural Epitome Search for Architecture-Agnostic Network Compression

Daquan Zhou, Xiaojie Jin+4 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Neural Network Applications参考文献 39被引用数 6

ひとこと要約

本稿では、ニューラルエピトープサーチ（NES）を提案する。これは、ネットワークパラメータをモデルアーキテクチャから分離することで、タスク固有の重みテンソルを生成するための微分可能関数と、コンactで表現力のあるエピトープを学習する、アーキテクチャに依存しない新しいネットワーク圧縮手法である。NESは、350M MAddの計算コストでImageNetで77.5%のトップ1正解率を達成し、MobileNetV2 や EfficientNet-B0 よりも低い計算コストでSOTA性能を達成した。

ABSTRACT

The recent WSNet [1] is a new model compression method through sampling filterweights from a compact set and has demonstrated to be effective for 1D convolutionneural networks (CNNs). However, the weights sampling strategy of WSNet ishandcrafted and fixed which may severely limit the expression ability of the resultedCNNs and weaken its compression ability. In this work, we present a novel auto-sampling method that is applicable to both 1D and 2D CNNs with significantperformance improvement over WSNet. Specifically, our proposed auto-samplingmethod learns the sampling rules end-to-end instead of being independent of thenetwork architecture design. With such differentiable weight sampling rule learning,the sampling stride and channel selection from the compact set are optimized toachieve better trade-off between model compression rate and performance. Wedemonstrate that at the same compression ratio, our method outperforms WSNetby6.5% on 1D convolution. Moreover, on ImageNet, our method outperformsMobileNetV2 full model by1.47%in classification accuracy with25%FLOPsreduction. With the same backbone architecture as baseline models, our methodeven outperforms some neural architecture search (NAS) based methods such asAMC [2] and MNasNet [3].

研究の動機と目的

• モデルパラメータをアーキテクチャ設計に直接結びつける従来の圧縮手法が示す性能低下を是正すること。
• ネットワークアーキテクチャに依存しない、コンパクトかつ表現力のあるパラメータ表現の柔軟でエンドツーエンドの学習を可能にすること。
• 重みテンソルの形状をアーキテクチャ的制約から分離することで、モデル圧縮の効率を向上させること。
• 特にモバイルデプロイメントを想定した、厳密なモデルサイズおよび計算コスト制約下でも高い性能を達成すること。
• 標準的なディープラーニングフレームワークと互換性があり、特別なハードウェアを必要としない、即挿し込み式の圧縮ソリューションを提供すること。

提案手法

• 小さなサイズのエピトープから、完全な畳み込みカーネル重みへマッピングする学習可能な変換関数を導入し、アーキテクチャに依存しないパラメータ生成を可能にする。
• バックプロパゲーションによるエンドツーエンド学習を可能にするために、微分可能である変換メカニズムを採用する。
• エピトープ要素と拡張されたカーネルパラメータ間のインデックスマッピングを記録するルーティングマップを設計し、推論時の計算再利用を可能にする。
• ターゲットネットワークのアーキテクチャに依存しない、コンパクトで共有されたパラメータセット（エピトープ）を用いることで、柔軟なモデルサイズ制御を実現する。
• 各レイヤーごとに変換関数を適応的に適用することで、高い表現能力を維持すれども、高い圧縮比でも性能を維持できる。
• 標準的な畳み込み層の即挿し置きとして、フレームワーク固有の変更なしに、全プロセスをカプセル化する。

実験結果

リサーチクエスチョン

• RQ1 ネットワークパラメータをアーキテクチャ設計から有効に分離することで、圧縮のための独立最適化が可能になるか？
• RQ2 学習可能な変換関数が、コンパクトなエピトープから微分可能かつ高容量のタスク固有重みテンソルを生成できるか？
• RQ3 エピトープ学習によるアーキテクチャに依存しない圧縮が、従来の手法と比較して、より優れた精度-圧縮トレードオフを実現できるか？
• RQ4 同じハードウェアおよびモデルサイズ制約下で、NASベースや自動機械学習（AutoML）圧縮手法を上回ることができるか？
• RQ5 ルーティングマップが、パラメータ再利用を通じて推論時の計算コストをどの程度低減できるか？

主な発見

• MobileNetV2をバックボーンとして用いたImageNetでは、NESは全モデルベースラインと比較して25%のMAdd削減と同時にトップ1正解率を1.47%向上させた。
• 同じ圧縮比下で、NESはAutoML for Model Compression（AMC）のトップ1正解率を2.5%向上させ、同等の制約下でも優れた性能を示した。
• EfficientNet-B0をベースラインとして用いた場合、NESは10%のMAdd削減と同時に1.2%のトップ1正解率向上を達成し、350M MAdd未満のモバイル環境で新たなSOTAを樹立した。
• CIFAR-10では、NESは0.39Mパラメータと26.8M MAddで93.22%のトップ1正解率を達成し、NASベースのAUTO-SLIMを1.22%上回り、MAddは3.5倍も削減した。
• 高い圧縮比（例：3倍）下でも、NESは3.78%の性能向上を維持したが、ベースラインのMobileNetV2は顕著な正解率低下を示した。
• 350M MAdd未満のモバイル制約下で、ImageNetにおけるトップ1正解率77.5%という新たなSOTAを達成し、EfficientNet-B0 やNASベースの手法を上回った。