[論文レビュー] NoiseOut: A Simple Way to Prune Neural Networks

Mohammad Babaeizadeh, Paris Smaragdis+1 more|arXiv (Cornell University)|Nov 18, 2016

Advanced Neural Network Applications参考文献 11被引用数 23

ひとこと要約

NoiseOutは、隠れ層の相関性の高いニューロンを統合することで、モデルサイズを縮小する完全自動のニューラルネットワークプルーニング手法である。トレーニング中にランダムな「ノイズ出力」を追加することで、活性化の相関性を高め、極めて効果的なプルーニングを可能にする。LeNet-5では、精度に影響を与えることなく最大97.75％のパラメータ削減が達成され、最新の圧縮率を維持する。

ABSTRACT

Neural networks are usually over-parameterized with significant redundancy in the number of required neurons which results in unnecessary computation and memory usage at inference time. One common approach to address this issue is to prune these big networks by removing extra neurons and parameters while maintaining the accuracy. In this paper, we propose NoiseOut, a fully automated pruning algorithm based on the correlation between activations of neurons in the hidden layers. We prove that adding additional output neurons with entirely random targets results into a higher correlation between neurons which makes pruning by NoiseOut even more efficient. Finally, we test our method on various networks and datasets. These experiments exhibit high pruning rates while maintaining the accuracy of the original network.

研究の動機と目的

• 過剰にパrameter化されたニューラルネットワークが、冗長なパrameterのおかげで高い推論コストを負うことの非効率性を解消すること。
• 再トレーニングやハイパーパrameterチューニングを必要としない完全自動のプルーニング手法を開発すること。
• 隠れ層におけるニューロン活性化の相関性を高めることで、プルーニングの効果を向上させること。
• ランダムなノイズ出力を追加することで、相関性が向上し、より攻撃的で正確なプルーニングが可能になることを示すこと。

提案手法

• NoiseOutは、各隠れ層において、活性化の類似度に基づいて最も相関性の高い2つのニューロンを繰り返し統合することでネットワークをプルーニングする。
• 前向き伝搬、相関検出、重み調整を伴うニューロン統合を繰り返すトレーニングループを用いる。
• 主なイノベーションは、トレーニング中にランダムなターゲットを持つノイズ出力を追加することで、隠れニューロン活性化の相関性を意図的に高めることである。
• 相関性とプルーニング効率に与える影響を評価するために、ガウス分布、二項分布、定数分布の異なるノイズ分布をテストする。
• 精度が事前に定義されたしきい値を下回るまでプルーニングを継続し、性能の低下を最小限に抑える。
• アルゴリズムは各隠れ層に対して独立して適用され、全結合層を含む畳み込みネットワークへも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にランダムなノイズ出力を追加することで、隠れニューロン活性化の相関性が向上するか？
• RQ2 ニューロン活性化の相関性が高まることで、より効果的かつ攻撃的なプルーニングが可能になるか？
• RQ3 NoiseOutは、モデル精度を損なわずに高い圧縮率を達成できるか？
• RQ4 ガウス分布、二項分布、定数分布といった異なるノイズ分布は、プルーニング性能と相関性にどのような影響を与えるか？
• RQ5 NoiseOut手法は、さまざまなネットワークアーキテクチャやデータセットに対して頑健であるか？

主な発見

• MNISTのLeNet-5において、NoiseOutは最大97.75％のパラメータ削減を達成し、0.95％の誤差率を維持した。モデルサイズは44倍に縮小された。
• ガウス分布ノイズを用いた場合、LeNet-300-100では94.02％のパラメータ削減が可能で、精度に影響なしに16.73倍の圧縮率を達成した。
• SVHNデータセットにおいて、ガウスノイズを用いたNoiseOutは、深層畳み込みニューラルネットワークから85.39％のパラメータを削減し、93.39％の訓練精度を維持した。
• ノイズ出力の追加により、隠れ層における活性化の相関性が顕著に向上した。特に二項分布ノイズでは初期段階での相関性上昇が顕著であった。
• NoiseOutによるプルーニングは、すべての実験で訓練精度とテスト精度の間に安定した一般化が見られたことから、過学習を引き起こさなかった。
• 再トレーニングや手動によるハイパーパrameterチューニングを必要とせず、最新の圧縮率を達成した。