[論文レビュー] Neuron Merging: Compensating for Pruned Neurons

Woojeong Kim, Suhyun Kim+2 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications被引用数 3

ひとこと要約

この論文では、ニューロンマージングを紹介する。これは、重みを新しいレイヤー重み行列と、ニューロンの組み合わせをガイドするスケーリング行列に分解することで、プルーニングされたニューラルネットワークにおける精度の低下を補償する手法である。ReLU条件下でスケーリング行列を次のレイヤーに統合することで、特徴マップを保持し、微調整なしに精度を維持する。VGG-16では、CIFAR-10で93.16%の精度を達成し、パラメータを64%削減した。

ABSTRACT

Network pruning is widely used to lighten and accelerate neural network models. Structured network pruning discards the whole neuron or filter, leading to accuracy loss. In this work, we propose a novel concept of neuron merging applicable to both fully connected layers and convolution layers, which compensates for the information loss due to the pruned neurons/filters. Neuron merging starts with decomposing the original weights into two matrices/tensors. One of them becomes the new weights for the current layer, and the other is what we name a scaling matrix, guiding the combination of neurons. If the activation function is ReLU, the scaling matrix can be absorbed into the next layer under certain conditions, compensating for the removed neurons. We also propose a data-free and inexpensive method to decompose the weights by utilizing the cosine similarity between neurons. Compared to the pruned model with the same topology, our merged model better preserves the output feature map of the original model; thus, it maintains the accuracy after pruning without fine-tuning. We demonstrate the effectiveness of our approach over network pruning for various model architectures and datasets. As an example, for VGG-16 on CIFAR-10, we achieve an accuracy of 93.16% while reducing 64% of total parameters, without any fine-tuning. The code can be found here: this https URL

研究の動機と目的

• 構造的ネットワークプルーニングにおける精度の低下を解決すること、ここではニューロンやフィルタを完全に削除することを目的とする。
• 微調整を必要とせずに、プルーニングされたニューロンによる情報損失を補償する手法を開発すること。
• 元のモデルの出力特徴マップを保持する一方で、パラメータ効率の良いモデル圧縮を実現するニューロンのマージを可能にすること。
• ニューロン間のコサイン類似度に基づく、データフリーで低コストな重み分解技術を提案すること。

提案手法

• この手法は、元のレイヤー重みを2つの成分に分解する：現在のレイヤー用の新しい重み行列と、ニューロンマージをガイドするスケーリング行列。
• 活性化関数がReLUである条件下で、スケーリング行列が次のレイヤーの重みに吸収可能であるように設計されている。
• ニューロン活性化の間のコサイン類似度を用いて、データフリーで適合するニューロンを特定する。
• マージプロセスは、マージされたニューロンの寄与を維持することで、元のモデルの出力特徴マップを保持する。
• 全結合層および畳み込み層の両方に適用可能であり、アーキテクチャ全体に広く適用可能である。
• 微調整を回避するために、プルーニング前の元のモデルの出力と、マージされたモデルの出力が非常に近くなるように保証している。

実験結果

リサーチクエスチョン

• RQ1 ニューロンマージングは、微調整なしにプルーニングされたニューラルネットワークにおける精度損失を効果的に補償できるか？
• RQ2 ニューロンマージをガイドするスケーリング行列を、効率的かつデータフリーに計算する方法は何か？
• RQ3 このマージ戦略を用いることで、どの程度のパラメータ削減が可能でありながら、モデルの精度を維持できるか？
• RQ4 プルーニングとマージの後でも、元のモデルの特徴マップ表現が保持されるか？
• RQ5 さまざまなアーキテクチャにおいて、ニューロンマージングは標準的なプルーニングと比較して、精度とパラメータ効率の点で優れているか？

主な発見

• 提案されたニューロンマージング手法は、プルーニング後も元のモデルの出力特徴マップの分布を保持し、精度の低下を最小限に抑える。
• CIFAR-10におけるVGG-16では、微調整なしに64%のパラメータ削減を達成し、93.16%の精度を実現した。
• このアプローチは、さまざまなモデルアーキテクチャとデータセットで有効であり、単一のネットワークにとどまらず一般化性を示した。
• コサイン類似度に基づくデータフリー分解により、マージに適した効率的で低コストな重み分解が可能になった。
• ReLU条件下では、スケーリング行列が次のレイヤーに吸収可能であり、追加パラメータなしにエンドツーエンドの互換性を実現した。
• 微調整なしでも、同じトポロジーの標準的プルーニングモデルを上回る精度を達成した。