[論文レビュー] Dynamical Isometry: The Missing Ingredient for Neural Network Pruning

Huan Wang, Can Qin+2 more|arXiv (Cornell University)|May 12, 2021

Neural Networks and Applications参考文献 55被引用数 4

ひとこと要約

この論文は、微調整性能が低い原因として、 pruning 後の動的等長性の劣化を特定し、それを回復するためのプラグアンドプレイ手法 OrthP を提案する。大きな微調整学習率が精度を向上させる理由を説明し、微調整設定が不適切である（特に学習率が低い）ことが、スクラッチ学習との誤った比較を引き起こす原因であることを示すことで、pruning の価値に関する論争を解決する。

ABSTRACT

Several recent works [40, 24] observed an interesting phenomenon in neural network pruning: A larger finetuning learning rate can improve the final performance significantly. Unfortunately, the reason behind it remains elusive up to date. This paper is meant to explain it through the lens of dynamical isometry [42]. Specifically, we examine neural network pruning from an unusual perspective: pruning as initialization for finetuning, and ask whether the inherited weights serve as a good initialization for the finetuning? The insights from dynamical isometry suggest a negative answer. Despite its critical role, this issue has not been well-recognized by the community so far. In this paper, we will show the understanding of this problem is very important -- on top of explaining the aforementioned mystery about the larger finetuning rate, it also unveils the mystery about the value of pruning [5, 30]. Besides a clearer theoretical understanding of pruning, resolving the problem can also bring us considerable performance benefits in practice.

研究の動機と目的

• プルーニングされたモデルの性能が顕著に向上する大きな微調整学習率の原因を説明すること。
• スクラッチから訓練した小さなモデルと比較して、pruning が真に価値を持つのか、という論争を解決すること。
• 動的等長性を介した信号伝播の分析を通じて、pruning が微調整の良い初期化であるかどうかを調査すること。
• 微調整の前に動的等長性を回復するための手法を提案することにより、微調整の収束性と最終的な精度を向上させること。

提案手法

• 平均ヤコビ行列特異値（JSV）を用いて、プルーニングされたネットワーク内の信号伝播を測定することで、動的等長性を分析する。
• プルーニングされたネットワークの重みを直交化することで、微調整の前に動的等長性を回復する OrthP を提案する。
• 異なる微調整学習率が動的等長性回復および最終的精度に与える影響を評価する。
• 最適な学習率 vs. 不適切な学習率で微調整されたプルーニングモデルを、スクラッチから訓練されたモデルと比較する。
• 非線形および畳み込みアーキテクチャ（例：LeNet-5-ReLU）に OrthP を適用し、線形モデルにとどまらない一般化性能を評価する。
• 信号伝播解析を用いて、プルーニングが勾配フローにどのように影響を与えるか、および標準的な微調整がなぜそれを回復できないかを診断する。

実験結果

リサーチクエスチョン

• RQ1 なぜ大きな微調整学習率がプルーニングされたニューラルネットワークの性能を顕著に向上させるのか？
• RQ2 スクラッチから訓練した小さなモデルと比較して、pruning が真に有益なのか、それとも不適切な微調整設定によってバイアスがかかるのか？
• RQ3 pruning がどれほど動的等長性を劣化させるのか、そしてその劣化は微調整の前に回復可能なのか？
• RQ4 OrthP のようなプラグアンドプレイ手法が、実用的なネットワークにおける動的等長性の回復と微調整性能の向上に効果的に機能するのか？
• RQ5 ネットワークアーキテクチャ、プルーニング比、および微調整ハイパーパrameter の相互作用が、動的等長性回復にどのように影響を与えるのか？

主な発見

• プルーニングは、特に高いプルーニング比において、平均ヤコビ行列特異値（JSV）の低下によって測定される動的等長性を顕著に劣化させる。
• 大きな微調整学習率は、動的等長性の回復を加速し、プルーニングモデルにおける性能向上の理由を説明する。
• pruning とスクラッチ学習の性能差は、主に先行研究における不適切な微調整学習率（特に低い学習率）に起因しており、pruning 自体の限界によるものではない。
• 最適な微調整学習率を用いることで、L1ノルムプルーニングの基本的手法ですら、複数のプルーニング比においてスクラッチ学習を上回る性能を示す。
• OrthP は線形および単純な非線形ネットワークでは動的等長性を効果的に回復できるが、LeNet-5-ReLU のようなより深いまたは複雑なアーキテクチャではその有効性が低下する。
• 本研究は、微調整が後処理ステップではなく、重要な回復フェーズであることを明らかにした。したがって、プルーニングパイプラインにおいて、動的等長性の回復を優先すべきである。