[論文レビュー] Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures

Hengyuan Hu, Rui Tao Peng+2 more|arXiv (Cornell University)|Jul 12, 2016

Advanced Neural Network Applications参考文献 15被引用数 741

ひとこと要約

本論文は Network Trimming を提案する。高い APoZ（0活性化）を持つニューロンをプルーニングして小型でより効率的なネットワークを作成し、精度を維持または改善するために重み初期化を用いた再訓練を行う反復的手法である。

ABSTRACT

State-of-the-art neural networks are getting deeper and wider. While their performance increases with the increasing number of layers and neurons, it is crucial to design an efficient deep architecture in order to reduce computational and memory costs. Designing an efficient neural network, however, is labor intensive requiring many experiments, and fine-tunings. In this paper, we introduce network trimming which iteratively optimizes the network by pruning unimportant neurons based on analysis of their outputs on a large dataset. Our algorithm is inspired by an observation that the outputs of a significant portion of neurons in a large network are mostly zero, regardless of what inputs the network received. These zero activation neurons are redundant, and can be removed without affecting the overall accuracy of the network. After pruning the zero activation neurons, we retrain the network using the weights before pruning as initialization. We alternate the pruning and retraining to further reduce zero activations in a network. Our experiments on the LeNet and VGG-16 show that we can achieve high compression ratio of parameters without losing or even achieving higher accuracy than the original network.

研究の動機と目的

• ネットワークの深さと幅が増大する中で、効率的な深層アーキテクチャを設計する動機。
• 大規模な検証データセット上で活性化のスパース性を分析してニューロンの冗長性を特定する。
• パラメータを削減しつつ性能を維持する反復的な剪定-再訓練ループを開発する。
• 削除する層の選択と剪定の閾値設定について実用的な指針を提供する。

提案手法

• 大規模な検証データセット上で各ニューロンの Average Percentage of Zeros (APoZ) を測定する。
• 閾値を超える APoZ を持つニューロンを剪定する（Target layer の mean APoZ の roughly one standard deviation above the mean ）。
• 祖先モデルの重みでトリム後のネットワークを初期化し、性能を回復させるために再訓練（またはファインチューニング）を行う。
• 層を跨いで反復的に剪定と再訓練を行い、徐々に冗長性を減らす。
• 実験的ベースライン（例：VGG-16、LeNet など）からネットワークを訓練し、圧縮と精度を評価する。
• 重み剪定法と比較し、GPU効率のためのニューロンレベルの剪定を強調する。

実験結果

リサーチクエスチョン

• RQ1 高 APoZ ニューロンを剪定して精度を損なうことなくモデルサイズを縮小できるか？
• RQ2 VGG-16 のような大規模アーキテクチャにおいて反復的な剪定-再訓練ループは有効か？
• RQ3 剪定後の再訓練に対する重み初期化はどのように影響するか？
• RQ4 LeNet や VGG-16 などのネットワークで剪定した場合、どの層が最も効果を得られるか？
• RQ5 計算量とメモリ効率の観点から、APoZ ベースの剪定は接続剪定法とどう比較されるか？

主な発見

• ネットワークには大きな冗長性が存在し、多くのニューロンが高い APoZ を持つ（例：VGG-16 の層全体で）。
• 高APoZニューロンの反復的剪定は LeNet で再訓練後に精度を損なうことなく2〜3倍のパラメータ圧縮を達成。
• 剪定後の性能回復には祖先モデルからの重み初期化が不可欠である。
• VGG-16 では CONV5-3 と FC6 の剪定で再訓練後に約2.59倍の圧縮と、Top-1/Top-5 精度が2–3%向上する。
• 複数の層をトリミングすることは効果的であるが再訓練を必要とする。最後の conv および FC 層をトリミングすると、パラメータ削減が大きく、精度は維持または向上する。
• トリムされた VGG-16 モデルは、パラメータ数が少なく過学習が抑制された状態で元のモデルを上回ることがある。