[論文レビュー] On Activation Function Coresets for Network Pruning

Ben Mussay, Samson Zhou+2 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Neural Network Applications参考文献 25被引用数 4

ひとこと要約

この論文は、活性化関数の性質を活用することで、完全結合ニューラルネットワークにおける理論的保証付きでヒューリスティックに依存しないモデル圧縮のためのデータに依存しないコアセット手法を提案する。MNISTのLeNet-300-100において、パラメータを最大90%まで削減しつつテスト精度を向上させるコアセットを構築し、訓練に依存するサンプリングの必要性を排除する。

ABSTRACT

Model compression provides a means to efficiently deploy deep neural networks (DNNs) on devices that limited computation resources and tight power budgets, such as mobile and IoT (Internet of Things) devices. Consequently, model compression is one of the most critical topics in modern deep learning. Typically, the state-of-the-art model compression methods suffer from a big limitation: they are only based on heuristics rather than theoretical foundation and thus offer no worst-case guarantees. To bridge this gap, Baykal et. al. [2018a] suggested using a coreset, a small weighted subset of the data that provably approximates the original data set, to sparsify the parameters of a trained fully-connected neural network by sampling a number of neural network parameters based on the importance of the data. However, the sampling procedure is data-dependent and can only be only be performed after an expensive training phase. We propose the use of data-independent coresets to perform provable model compression without the need for training. We first prove that there exists a coreset whose size is independent of the input size of the data for any neuron whose activation function is from a family of functions that includes variants of ReLU, sigmoid and others. We then provide a compression-based algorithm that constructs these coresets and explicitly applies neuron pruning for the underlying model. We demonstrate the effectiveness of our methods with experimental evaluations for both synthetic and real-world benchmark network compression. In particular, our framework provides up to 90% compression on the LeNet-300-100 architecture on MNIST and actually improves the accuracy.

研究の動機と目的

• 既存のモデル圧縮手法に理論的保証が欠如していること、特にヒューリスティックに基づくパラメータスパース化に依存していることへの対処。
• 訓練フェーズにかかるコストを回避するため、パラメータプルーニングに向けたデータに依存しないコアセットの導入。
• ReLU やシグモイドを含む広範な関数族に属する活性化関数を持つニューロンに対して、サイズが独立したコアセットの存在を理論的に確立すること。
• これらのコアセットを構築し、圧縮モデルに直接ニューロンプルーニングを適用する実用的なアルゴリズムの開発。
• 提案手法がベンチマークデータセット上で高い圧縮率を達成するとともに、モデル精度を向上または維持できることの実証。

提案手法

• 活性化関数が特定の関数族（ReLU、シグモイド、その変種を含む）に属する限り、入力データサイズに依存しないコアセットの存在を証明する。
• 訓練データの統計に依存しない、活性化関数の関数的性質に基づくデータに依存しないコアセット構築手順を定式化する。
• 入力特徴量がニューロン出力に与える寄与度を最小誤差で近似することで、重要度の低いニューロンを同定・プルーニングする。
• 繰り返しコアセットを構築・各レイヤーに適用する圧縮ベースのアルゴリズムを設計し、全ニューロンの構造的プルーニングを可能にする。
• 集中不等式を用いてコアセットに基づくパラメータスパース化によって生じる誤差をバインドすることで、理論的近似保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 完全結合層に対して、データに依存しないコアセットを構築可能であり、その結果得られるモデルが理論的保証付きで高い精度を維持できるか？
• RQ2 ReLU やシグモイド関数族に属する活性化関数に対して、コアセットのサイズが入力データサイズに依存するか？
• RQ3 提案されたコアセットベースのプルーニング手法は、完全な訓練フェーズを必要とせずに高い圧縮率を達成できるか？
• RQ4 圧縮モデルの精度は、元のモデルおよびヒューリスティックベースの圧縮手法と比較してどの程度か？
• RQ5 コアセットベースのプルーニングは一般化性能を向上させ、元のモデルよりも良いテスト精度を達成できるか？

主な発見

• 提案手法は、MNISTのLeNet-300-100アーキテクチャにおいて、最大90%のパラメータ圧縮を達成し、モデルサイズを顕著に削減した。
• 圧縮モデルは元のネットワークよりも向上したテスト精度を達成しており、プルーニングが一般化性能を向上させうることを示している。
• コアセットの構築はデータに依存しないため、高コストな訓練に依存するサンプリング手順の必要性が排除された。
• 理論的分析により、指定された関数族に属する活性化関数を持つニューロンに対して、コアセットサイズが入力データサイズに依存しないことが証明された。
• 理論的近似保証が提供され、ヒューリスティックベースの圧縮と理論的根拠に基づくモデル圧縮の間のギャップを埋めた。