[論文レビュー] Deep Model Compression via Filter Auto-sampling.

Daquan Zhou, Xiaojie Jin+3 more|arXiv (Cornell University)|Jul 12, 2019

Advanced Neural Network Applications参考文献 10被引用数 2

ひとこと要約

本稿では、1次元および2次元畳み込みニューラルネットワーク（CNN）の両方に対して最適なフィルターサンプリングルールを学習する、微分可能でエンドツーエンドの自己サンプリング手法を提案する。従来の手作業で設計されたWSNet手法と比較して、顕著な性能向上を達成する。同じ圧縮比の下で、1次元CNNでは6.5%高い精度を達成し、FLOPsを25%削減した状態でImageNet精度においてMobileNetV2を1.47%上回る。

ABSTRACT

The recent WSNet [1] is a new model compression method through sampling filterweights from a compact set and has demonstrated to be effective for 1D convolutionneural networks (CNNs). However, the weights sampling strategy of WSNet ishandcrafted and fixed which may severely limit the expression ability of the resultedCNNs and weaken its compression ability. In this work, we present a novel auto-sampling method that is applicable to both 1D and 2D CNNs with significantperformance improvement over WSNet. Specifically, our proposed auto-samplingmethod learns the sampling rules end-to-end instead of being independent of thenetwork architecture design. With such differentiable weight sampling rule learning,the sampling stride and channel selection from the compact set are optimized toachieve better trade-off between model compression rate and performance. Wedemonstrate that at the same compression ratio, our method outperforms WSNetby6.5% on 1D convolution. Moreover, on ImageNet, our method outperformsMobileNetV2 full model by1.47%in classification accuracy with25%FLOPsreduction. With the same backbone architecture as baseline models, our methodeven outperforms some neural architecture search (NAS) based methods such asAMC [2] and MNasNet [3].

研究の動機と目的

• WSNetのような従来のモデル圧縮手法における固定で手作業で設計されたフィルターサンプリングの限界を克服すること。
• 1次元および2次元CNNの両方において、エンドツーエンドの学習によるサンプリングルールの最適化を可能にし、モデルの表現力と圧縮効率を向上させること。
• 最適化されたサンプリングスライドとチャネル選択を通じて、モデル圧縮率と性能の間のより良いトレードオフを達成すること。
• 高価な探索を伴わない神経ネットワークアーキテクチャ探索（NAS）手法（例：AMC や MnasNet）と同等またはそれ以上の性能を達成すること。
• ImageNet や1次元CNNベンチマークといった標準的なベンチマークにおいて、優れた一般化性能と効率性を示すこと。

提案手法

• コンパクトなフィルターセットから、サンプリングスライドとチャネル選択を同時に最適化する微分可能なサンプリングルール学習メカニズムを提案する。
• サンプリング意思決定が微分可能であるエンドツーエンドで訓練可能なフレームワークを導入し、サンプリング操作を介したバックプロパゲーションを可能にする。
• 事前に定義されたコンパクトなフィルターセットを活用し、入力特徴量とネットワークの深さに基づいてどのフィルターをサンプリングするかを学習する。
• トレーニング中に勾配伝播を可能にする微分可能なサンプリング操作を用い、ネットワーク重みとサンプリングポリシーを同時に最適化する。
• 1次元および2次元CNNの両方の分野に自動サンプリング機構を適用し、WSNetの適用範囲を1次元ネットワークに限らず拡張する。
• 最も効果的なフィルターの組み合わせを学習することで、モデル圧縮と精度のバランスを最適化するサンプリング戦略を最適化する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドでのフィルターサンプリングルールの学習は、手作業で設計されたサンプリング戦略と比較して、モデル圧縮性能を向上させることができるか？
• RQ2 自動サンプリングは、1次元および2次元CNNにおいて、精度を維持または向上させつつ、どの程度FLOPsを削減できるか？
• RQ3 AMC や MnasNet といった最先端のNASベースのモデルと比較して、本手法の精度と効率性はどの程度優れているか？
• RQ4 自動サンプリング機構は、ImageNet や1次元ベンチマークのような異なるネットワークアーキテクチャおよびデータセットに一般化可能か？
• RQ5 同じ圧縮比の下で、本手法はWSNetに比べてどの程度の性能向上を達成できるか？

主な発見

• 同じ圧縮比の下で、本手法は1次元CNNの精度をWSNetよりも6.5%向上させる。
• ImageNetにおいて、FLOPsを25%削減した状態で、MobileNetV2よりもトップ-1精度が1.47%高い。
• ベースラインモデルと同等のバックボーンアーキテクチャを用いる場合、本手法はAMC や MnasNet といったNASベースの手法を上回る性能を発揮する。
• エンドツーエンドで微分可能なサンプリングルール学習により、サンプリングスライドとチャネル選択の最適化がより良好に実現される。
• 本手法は1次元および2次元CNNの両方において強力な一般化性能を示し、フィルターサンプリングの適用範囲を1次元ネットワークに限らず拡張する。
• 性能向上の背景には、モデル表現力をよりよく保持する学習された適応的サンプリング戦略があるとされる。