[論文レビュー] Stabilizing the Lottery Ticket Hypothesis

Jonathan Frankle, Gintare Karolina Dziugaite+2 more|arXiv (Cornell University)|Mar 5, 2019

Advanced Neural Network Applications参考文献 34被引用数 146

ひとこと要約

本論文は、初期化時ではなく訓練開始後の数パーセントの時点まで巻き戻して早期にプルーニングを行うことで、元のネットワークと同等かそれを上回る精度を CIFAR-10 および ImageNet で達成できる非常にスパースなサブネットワークを生み出せることを示し、安定性を主要な説明として導入している。

ABSTRACT

Pruning is a well-established technique for removing unnecessary structure from neural networks after training to improve the performance of inference. Several recent results have explored the possibility of pruning at initialization time to provide similar benefits during training. In particular, the "lottery ticket hypothesis" conjectures that typical neural networks contain small subnetworks that can train to similar accuracy in a commensurate number of steps. The evidence for this claim is that a procedure based on iterative magnitude pruning (IMP) reliably finds such subnetworks retroactively on small vision tasks. However, IMP fails on deeper networks, and proposed methods to prune before training or train pruned networks encounter similar scaling limitations. In this paper, we argue that these efforts have struggled on deeper networks because they have focused on pruning precisely at initialization. We modify IMP to search for subnetworks that could have been obtained by pruning early in training (0.1% to 7% through) rather than at iteration 0. With this change, it finds small subnetworks of deeper networks (e.g., 80% sparsity on Resnet-50) that can complete the training process to match the accuracy of the original network on more challenging tasks (e.g., ImageNet). In situations where IMP fails at iteration 0, the accuracy benefits of delaying pruning accrue rapidly over the earliest iterations of training. To explain these behaviors, we study subnetwork "stability," finding that - as accuracy improves in this fashion - IMP subnetworks train to parameters closer to those of the full network and do so with improved consistency in the face of gradient noise. These results offer new insights into the opportunity to prune large-scale networks early in training and the behaviors underlying the lottery ticket hypothesis

研究の動機と目的

• 初期化時のプルーニングが深いネットワークでなぜ失敗するのか、また早期訓練中のプルーニングが訓練可能なサブネットワークを生み出すかどうかを調査する。
• 早期訓練のイテレーションへ巻き戻すことがサブネットワークの性能と安定性に与える影響を評価する。
• プルーニングとデータ順序への安定性を、Lottery Tickets に影響を与える機構として導入・分析する。

提案手法

• Iterative Magnitude Pruning (IMP) を、イテレーション 0 ではなく、訓練の初期段階（k% 進行時） の重みに巻き戻すように変更する。
• Lenet、Resnet-18、VGG-19 を用いて、CIFAR-10 で巻き戻しの有無で IMP を評価し、ランダムプルーニングと比較する。
• 訓練後のマスクされた重みの L2 距離を用いて、プルーニングに対する安定性とデータ順序に対する安定性という 2 種類の安定性を測定する。
• 巻き戻しを用いて大規模な ImageNet モデル（ResNet-50、Inception-v3、SqueezeNet）で実験を拡張する。
• 後の巻き戻しが安定性と精度をどのように向上させるか、そしてそれが lottery ticket hypothesis へどのように関連するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 初期化時に IMP で識別されたサブネットワークを、より深いネットワークで同様の精度まで訓練できることが分かるのか？
• RQ2 早期訓練の後半（rewinding）でのプルーニングは、元のネットワークの性能と同等かそれを超える、より小さく訓練可能なサブネットワークを生み出すのか？
• RQ3 サブネットワークの安定性（プルーニングおよびデータ順序への安定性）は winning tickets を見つける指標となるのか？
• RQ4 ImageNet のような大規模タスクにおいて、rewinding は高いスパース性のサブネットワークにどのような影響を与えるか？

主な発見

• IMP は Resnet-18 や VGG-19 のような深いネットワークで、学習率の調整を行わないと初期化時に winning tickets を見つけられない。
• 初期訓練のイテレーションへ巻き戻す（0.1%–7%）ことで、CIFAR-10 で 50%–99% 程度の疎性を持つサブネットワークが、フルネットワークの精度と同等に達する。
• ImageNet では、訓練の 4.4%、3.5%、6.6% へ巻き戻すと、それぞれのサブネットワークが 70%、70%、50% 小さくなり、Resnet-50、Inception-v3、SqueezeNet に対して元の精度と同等となる。
• IMP で見つかったサブネットワークは、ランダムにプルーニングされたサブネットワークよりも、プルーニングおよびデータ順序に対してはるかに安定であり、この安定性は精度の向上と相関する。
• 後の巻き戻しイテレーションは、最初に winning ticket を生まないサブネットワークの安定性と精度を一貫して改善する。
• 結果は rewinding を用いた修正版 Lottery Ticket Hypothesis を示唆しており、初期化時だけに厳密に限定されず、訓練の早期に prune する機会を示している。