[論文レビュー] Powerpropagation: A sparsity inducing weight reparameterisation

Jonathan Schwarz, Siddhant M. Jayakumar+3 more|arXiv (Cornell University)|Oct 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 88被引用数 7

ひとこと要約

パワー伝搬（Powerpropagation）は、勾配更新をパラメータの大きさに比例させる新しい重み再パラメータ化手法であり、大きな重みが速く適応し、小さな重みはほとんど変化しないため、'豊かになる者だけがさらに豊かになる'ダイナミクスを生み出し、モデルのスパarsityを誘導する。これにより、ゼロに近い重みの密度が高まり、より効果的なプルーニングとスパーストレーニングおよび継続的学習の設定における性能向上が可能になる。

ABSTRACT

The training of sparse neural networks is becoming an increasingly important tool for reducing the computational footprint of models at training and evaluation, as well enabling the effective scaling up of models. Whereas much work over the years has been dedicated to specialised pruning techniques, little attention has been paid to the inherent effect of gradient based training on model sparsity. In this work, we introduce Powerpropagation, a new weight-parameterisation for neural networks that leads to inherently sparse models. Exploiting the behaviour of gradient descent, our method gives rise to weight updates exhibiting a "rich get richer" dynamic, leaving low-magnitude parameters largely unaffected by learning. Models trained in this manner exhibit similar performance, but have a distribution with markedly higher density at zero, allowing more parameters to be pruned safely. Powerpropagation is general, intuitive, cheap and straight-forward to implement and can readily be combined with various other techniques. To highlight its versatility, we explore it in two very different settings: Firstly, following a recent line of work, we investigate its effect on sparse training for resource-constrained settings. Here, we combine Powerpropagation with a traditional weight-pruning technique as well as recent state-of-the-art sparse-to-sparse algorithms, showing superior performance on the ImageNet benchmark. Secondly, we advocate the use of sparsity in overcoming catastrophic forgetting, where compressed representations allow accommodating a large number of tasks at fixed model capacity. In all cases our reparameterisation considerably increases the efficacy of the off-the-shelf methods.

研究の動機と目的

• ニューラルネットワークの標準的な勾配ベースの学習において、内在的なスパarsity誘導が欠如しているという問題に対処すること。
• トレーニング中に内在的なスパarsityを活用することで、ディープラーニングモデルの計算およびメモリのオーバーヘッドを低減すること。
• 自然にスパース解を好むパラメータ化を活用することで、既存のプルーニングおよび継続的学習技術の有効性を高めること。
• リソース制約のある環境におけるより効率的なモデル圧縮を可能にするとともに、継続的学習における崩壊的忘却（catastrophic forgetting）を軽減すること。
• 既存のスパarsityおよび圧縮技術と簡単に組み合わせられる、シンプルで汎用性の高い手法を提供すること。

提案手法

• 順伝播時に重みをα乗（α > 1）することでネットワーク重みを再パラメータ化し、符号を保持する。
• この再パラメータ化により、勾配計算に|w|^{α-1}のスケーリング要因が導入され、更新が重みの大きさに比例するようになる。
• 小さな絶対値の重みは小さな勾配更新を受け、大きな重みが学習を支配する'豊かになる者だけがさらに豊かになる'ダイナミクスが生じる。
• この手法は、明示的なペナルティや損失関数の変更なしに、スパarsityを促進する暗黙の正則化として機能する。
• 標準的な最適化と互換性があり、最小限のコード変更（例：順伝播に1行追加）で実装可能である。
• 重みプルーニング、スパースからスパースへのトレーニング、およびEfficientPackNetのような効率的な継続的学習手法と組み合わせ可能である。

実験結果

リサーチクエスチョン

• RQ1 明示的な正則化なしに、勾配ベースの学習を変更することで、スパースなモデルを内在的に生成できるか？
• RQ2 パワー伝搬が、学習済みモデルのスパarsity分布およびプルーニング効果に与える影響は何か？
• RQ3 パワー伝搬は、ImageNetのようなリソース制約のある環境におけるスパーストレーニングにおいて、性能を向上させられるか？
• RQ4 パワー伝搬は、圧縮されたスパース表現を通じて、スパースな表現を用いて崩壊的忘却を軽減することで、継続的学習の性能を向上させられるか？
• RQ5 ハイパーパrameter αは、スパarsityとモデル性能のトレードオフにどのように影響するか？

主な発見

• パワー伝搬で訓練されたモデルは、ゼロに近い重みの密度が著しく高まっており、より攻撃的で安全なプルーニングが可能になる。
• ImageNetにおいて、パワー伝搬とスパースからスパースへのトレーニングを組み合わせた結果、同じスパarsity制約下で最先端の性能を達成した。
• 10タスクのSplit-CIFAR100ベンチマークにおける継続的学習において、パワー伝搬＋EfficientPackNetはタスク推論で73.70%の精度を達成し、新たな最先端を記録した。
• 継続的ワールドRLベンチマークにおいても、パワー伝搬は平均86%の成功率を達成し、ほぼゼロの忘却（0.00）を実現し、先行手法を上回った。
• パワー伝搬とEfficientPackNetの組み合わせは、Split-MNISTで99.71%の精度を達成し、別々のタスクヘッドを備えた手法でさえも上回った。
• この手法は、スパーストレーニングおよび継続的学習の両方の多様な設定において非常に効果的であり、実装のオーバーヘッドは最小限に抑えられる。