[論文レビュー] The Incredible Shrinking Neural Network: New Perspectives on Learning Representations Through The Lens of Pruning

Aditya Sharma, Nikolas Wolfe+1 more|arXiv (Cornell University)|Jan 16, 2017

Neural Networks and Applications参考文献 14被引用数 13

ひとこと要約

この論文は、訓練済みニューラルネットワークにおける個々の重みの代わりに、完全なニューロンをプルーニングすることを提案しており、40–70%のニューロンを逐次的にプルーニングしても、微細調整なしで精度の低下が最小限に抑えられることを示している。本研究は、ニューロンの重要度が不均等に分布しており、ニューロン間の相関関係が従来の線形／2次近似に基づく誤差近似法を無効にすることを示唆することで、長年のプルーニングに関する仮定に挑戦している。

ABSTRACT

How much can pruning algorithms teach us about the fundamentals of learning representations in neural networks? And how much can these fundamentals help while devising new pruning techniques? A lot, it turns out. Neural network pruning has become a topic of great interest in recent years, and many different techniques have been proposed to address this problem. The decision of what to prune and when to prune necessarily forces us to confront our assumptions about how neural networks actually learn to represent patterns in data. In this work, we set out to test several long-held hypotheses about neural network learning representations, approaches to pruning and the relevance of one in the context of the other. To accomplish this, we argue in favor of pruning whole neurons as opposed to the traditional method of pruning weights from optimally trained networks. We first review the historical literature, point out some common assumptions it makes, and propose methods to demonstrate the inherent flaws in these assumptions. We then propose our novel approach to pruning and set about analyzing the quality of the decisions it makes. Our analysis led us to question the validity of many widely-held assumptions behind pruning algorithms and the trade-offs we often make in the interest of reducing computational complexity. We discovered that there is a straightforward way, however expensive, to serially prune 40-70% of the neurons in a trained network with minimal effect on the learning representation and without any re-training. It is to be noted here that the motivation behind this work is not to propose an algorithm that would outperform all existing methods, but to shed light on what some inherent flaws in these methods can teach us about learning representations and how this can lead us to superior pruning techniques.

研究の動機と目的

• 個々の重みではなく、完全なニューロンを対象とするプルーニングが一般的に受け入れられている仮定に挑戦すること。
• 誤差面の近似法やニューロンの独立性に関する一般的なプルーニング仮定の妥当性を検証すること。
• 計算コストが高いために無視されがちな、完全なニューロンのプルーニングが、性能の著しい低下を伴わず高い圧縮率を達成できることを実証的に示すこと。
• 関連するニューロンと無関係なニューロンの間の隠れた相関関係を明らかにし、プルーニングがネットワークダイナミクス全体に影響を与えることを示すこと。
• ヒューリスティックに基づく重み削除ではなく、学習表現の洞察に重きを置いた、プルーニングのパラダイム転換を提唱すること。

提案手法

• 各ニューロンを個別に削除した際のネットワーク出力への影響を評価する、ブルートフォースで逐次的なニューロンプルーニング手法を提案する。
• 勾配に基づくまたはヘッセ行列に基づく近似に依存せず、各ニューロン削除後のネットワーク性能を完全に評価する。
• 回帰問題と誤差面の可視化を用いて、ニューロン削除周辺の損失関数の真の形状を分析する。
• 線形または2次誤差近似に依存する従来の手法（例：Optimal Brain Damage や Optimal Brain Surgeon）と、ブルートフォース法を比較する。
• 無関係なニューロンの削除が他のニューロンの寄与度に与える影響を測定することで、ニューロン間の相関関係を分析し、動的再構成の兆候を示す。
• 訓練済みネットワークを用いた実験により、40–70%のニューロンを削除しても精度の低下が最小限に抑えられることを検証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおける学習表現がニューロンごとに不均等に分布している程度はどの程度で、これが従来のプルーニング仮定にどのように挑戦するか？
• RQ2 線形または2次誤差関数によるニューロン重要度の近似に依存する標準的なプルーニングアルゴリズムが、最適なプルーニング意思決定を下せないのはなぜか？
• RQ3 完全に訓練されたネットワークにおける「無関係な」ニューロンの役割は何か？ 他のニューロンの寄与度にどのように影響を与えるか？
• RQ4 ブルートフォースで逐次的なニューロンプルーニング手法は、高い圧縮率を達成し、性能の低下を最小限に抑えることができるか？ もしそうなら、なぜヒューリスティックベースの手法よりも効果的なのか？
• RQ5 ニューロン間の相関関係が、ニューロンが独立してプルーニング可能であるという仮定をどのように無効にするのか？

主な発見

• 個々の重みではなく、完全なニューロンをプルーニングすることで、40–70%の圧縮率（元のサイズの40–70%）を達成でき、微細調整なしで精度の低下が最小限に抑えられる。
• ブルートフォースによるニューロンプルーニング手法は、誤差面の誤った線形または2次近似に依存する従来の手法（例：Optimal Brain Damage）を上回る性能を示している。
• 本研究は、1989年にMozer & Smolenskyが観察した事実を実証的に確認しており、わずか数個の「エリート」ニューロンが主な学習表現を担っており、他のニューロンは補助的役割を果たしている。
• 無関係なニューロンは真に冗長ではない。それらの削除はネットワーク全体のダイナミクスを変化させることから、ニューロン間の強い相関関係が存在することが示唆される。
• 誤差面の可視化により、標準的なプルーニング手法が損失関数の真の形状を単純化しすぎた近似に起因して、破綻的な意思決定を下す傾向にあることが明らかになった。
• 計算コストが高いために無視されがちだが、ブルートフォースによるニューロンプルーニングは高並列性を示しており、サブセットに基づく近似手法を用いることで実用的になる可能性がある。