[論文レビュー] Pruning artificial neural networks: a way to find well-generalizing, high-entropy sharp minima

Enzo Tartaglione, Andrea Bragagnolo+1 more|arXiv (Cornell University)|Apr 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 12

ひとこと要約

本論文は、1回限りの pruning と段階的 pruning を比較し、段階的 pruning が、1回限りの手法では到達できなかった、一般化性能が高くエントロピーの高い鋭い最小解に到達することを示している。PSP-エントロピーと呼ばれる指標を導入し、段階的に pruning されたモデルがより一般化可能でクラスに依存しない特徴を学習していることが明らかになった。これは、計算コストが高くなるものの、転移学習において優れた性能を発揮する要因となっている。

ABSTRACT

Recently, a race towards the simplification of deep networks has begun, showing that it is effectively possible to reduce the size of these models with minimal or no performance loss. However, there is a general lack in understanding why these pruning strategies are effective. In this work, we are going to compare and analyze pruned solutions with two different pruning approaches, one-shot and gradual, showing the higher effectiveness of the latter. In particular, we find that gradual pruning allows access to narrow, well-generalizing minima, which are typically ignored when using one-shot approaches. In this work we also propose PSP-entropy, a measure to understand how a given neuron correlates to some specific learned classes. Interestingly, we observe that the features extracted by iteratively-pruned models are less correlated to specific classes, potentially making these models a better fit in transfer learning approaches.

研究の動機と目的

• pruning 策略が最小限の性能低下で高い一般化性能を達成する理由を調査すること。
• モデルのスパarsity、一般化性能、最小解の性質の観点から、1回限りの pruning と段階的 pruning を比較すること。
• 鋭い最小解が良好に一般化できるかどうかを検証し、従来の平坦な最小解が優れているという常識に疑問を呈すること。
• ニューロンの特徴の特化度と特徴の一般化度を定量化するための指標（PSP-エントロピー）を開発すること。
• 特徴の抽象化の質に基づいて、pruning を施したモデルが転移学習に適しているかどうかを評価すること。

提案手法

• MNIST、CIFAR-10、ImageNet における LeNet-5 およびその他のアーキテクチャで、Frankle & Carbin による1回限りの pruning と LOBSTER による段階的 pruning を比較。
• ヘッセ固有値解析を用いて最小解の鋭さを評価し、効率的な近似手法により上位5つの固有値を計算。
• PSP-エントロピーを導入。これは、シナプス後電位（PSP）のL2ノルムとそのクラス別分布に基づく指標で、ニューロンの特化度を定量化する。
• 1回限りの解と段階的解の間の2次元損失マップを用いて、損失関数の形状と最小解の幅を可視化。
• PSP L2ノルムの大きさを分析し、活性化の強度とネットワークのスパarsity効果を評価。
• 一次および二次の PSP-エントロピーを用いて特徴の特異性を評価：エントロピーが低いほどクラス特異的ニューロン、高いほど一般化特徴を示す。

実験結果

リサーチクエスチョン

• RQ1 段階的 pruning は、1回限りの pruning では到達できない、良好に一般化可能な鋭い最小解に到達できるか？
• RQ2 高エントロピーで鋭い最小解は、平坦な最小解よりも一般化性能が優れているのか？これは、従来の常識と矛盾する。
• RQ3 1回限りの pruning と段階的 pruning の間で、特徴の抽象化に測定可能な差があるか？
• RQ4 PSP-エントロピーは、pruning を施したネットワークにおける特徴の一般化度を信頼性高く示す指標として機能するか？
• RQ5 段階的に pruning されたモデルは、より一般化可能な特徴を有するため、転移学習において1回限りのモデルを上回る性能を発揮するか？

主な発見

• 段階的 pruning は、特に高い圧縮率の状況下で、1回限りの pruning よりも高いスパarsity（最大99.57％のパラメータ削減）と優れた一般化性能を達成している。
• 段階的 pruning によって得られた解は、1回限りの解よりも狭いが、より低い損失の最小解に位置しており、別個で良好に一般化可能な鋭い最小解に到達していることが示唆されている。
• 鋭さが強いにもかかわらず、段階的に pruning されたモデルはより良好に一般化しており、平坦な最小解のみが一般化に適しているという仮定に疑問を呈している。
• PSP-エントロピー解析により、段階的に pruning されたモデルは1回限りのモデルよりも顕著に高い二次エントロピーを示しており、より一般化可能でクラスに依存しない特徴を学習していることが明らかになった。
• 段階的に pruning されたモデルではPSP L2ノルムの値が低く抑えられており、活性化の大きさが小さくなっていることから、より安定的で一般化可能な表現が得られていると考察される。
• 結果から、段階的に pruning されたモデルは、非特異的で汎用的な特徴を抽出できる能力があるため、転移学習に適していると示唆される。