[論文レビュー] Efficient Lottery Ticket Finding: Less Data is More

Zhenyu Zhang, Xuxi Chen+2 more|arXiv (Cornell University)|Jun 6, 2021

Video Analysis and Summarization被引用数 7

ひとこと要約

本論文は、ロットャリーチケット発見に最も挑戦的で情報量の多いサンプルを捉える、データ効率の高い小規模なサブセットである「Pruning-Aware Critical（PrAC）セット」を提案する。完全なデータセットではなくPrACセット上で密なネットワークを訓練およびプルーニングすることで、最大92.77％の訓練イテレーションを削減しながらも、競争力のある精度を維持でき、ロットリーチケットの発見における効率を顕著に向上させる。

ABSTRACT

The lottery ticket hypothesis (LTH) reveals the existence of winning tickets (sparse but critical subnetworks) for dense networks, that can be trained in isolation from random initialization to match the latter's accuracies. However, finding winning tickets requires burdensome computations in the train-prune-retrain process, especially on large-scale datasets (e.g., ImageNet), restricting their practical benefits. This paper explores a new perspective on finding lottery tickets more efficiently, by doing so only with a specially selected subset of data, called Pruning-Aware Critical set (PrAC set), rather than using the full training set. The concept of PrAC set was inspired by the recent observation, that deep networks have samples that are either hard to memorize during training, or easy to forget during pruning. A PrAC set is thus hypothesized to capture those most challenging and informative examples for the dense model. We observe that a high-quality winning ticket can be found with training and pruning the dense network on the very compact PrAC set, which can substantially save training iterations for the ticket finding process. Extensive experiments validate our proposal across diverse datasets and network architectures. Specifically, on CIFAR-10, CIFAR-100, and Tiny ImageNet, we locate effective PrAC sets at 35.32%~78.19% of their training set sizes. On top of them, we can obtain the same competitive winning tickets for the corresponding dense networks, yet saving up to 82.85%~92.77%, 63.54%~74.92%, and 76.14%~86.56% training iterations, respectively. Crucially, we show that a PrAC set found is reusable across different network architectures, which can amortize the extra cost of finding PrAC sets, yielding a practical regime for efficient lottery ticket finding.

研究の動機と目的

• 大規模データセット上で反復的マグニチュードプルーニング（IMP）を用いたロットリーチケット探索における高い計算コストに対処すること。
• データスパarsity（コアサブセット選択）とモデルスパarsity（ウィンニングチケット発見）を同時に設計することで、効率性が向上するかを調査すること。
• スパースサブネットワークの一般化能力とトレーニング可能성을保持する最小限の重要な訓練データのサブセットを同定すること。
• 多様なアーキテクチャとデータセットで、効率的かつ高品質なロットリーチケット同定を可能にする再利用可能なコンパクトなデータサブセットを開発すること。

提案手法

• 訓練中に最も記憶しにくく、プルーニング時に最も忘れやすいサンプルを捉えるデータサブセットとして、Pruning-Aware Critical（PrAC）セットを定義する。
• 初期訓練段階での活性化統計を用いてモデルの記憶能力を測定することで、重要な訓練例（CET）を同定する。
• 反復的マグニチュードプルーニング段階での特徴の感受性を勾配ベースのセンシティビティスコアで測定することで、重要なプルーニング例（CEP）を同定する。
• CETとCEPの和集合としてPrACセットを構築し、訓練段階とプルーニング段階の両方で重要となるサンプルを含める。
• PrACセット上で訓練中に早期停止を適用することで、性能に損なわれることなく訓練イテレーションをさらに削減する。
• 異なるネットワークアーキテクチャ間で同じPrACセットを再利用することで、サブセット同定コストを相殺し、実用性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ロットリーチケットフレームワークにおいて、トレーニング可能でスパースなサブネットワーク（すなわちウィンニングチケット）を発見するために、どの訓練サンプルが最も重要か？
• RQ2 トレーニング可能で一般化能力を保持する必要があるロットリーチケット発見に適した、コンパクトでデータ効率の良いサブセットを構築可能か？
• RQ3 データスパarsity（コアサブセット選択）とモデルスパarsity（プルーニング）を共同設計することで、ロットリーチケット探索の効率はどのように向上するか？
• RQ4 PrACセットは、性能の著しい低下を伴わずに、さまざまなアーキテクチャ間で再利用可能か？ これにより、スケーラブルで実用的な展開が可能か？
• RQ5 早期停止とサブセットベースの訓練を組み合わせることで、ロットリーチケット探索における訓練イテレーションはどの程度削減可能か？ また、競争力のある精度を維持できるか？

主な発見

• CIFAR-10、CIFAR-100、Tiny ImageNetにおいて、PrACセットは完全な訓練セットの35.32％～78.19％のサイズであるが、高品質なウィンニングチケットの発見を可能にする。
• 完全なデータセットでの訓練と比較して、Tiny ImageNetでは最大92.77％、CIFAR-10では82.85％、CIFAR-100では74.92％の訓練イテレーションを削減する。
• PrACチケットは、バニラチケットと同等またはそれ以上の性能を達成しており、特に高スパース度（例：CIFAR-10で96.48％のスパース度）において優れた性能を示す。
• PrACセットは、ResNet-20やResNet-56など異なるアーキテクチャ間で再利用可能であり、コストの相殺と実用的展開を可能にする。
• 早期停止を適用することで、PrACベースのチケット探索は最大83.93％の訓練リソースを削減可能であり、精度の損失は最大0.50％にとどまる。
• PrACセットには、ごみだらけの背景や複数のオブジェクトを含む曖昧で複雑な画像が多数含まれており、学習が難しいが情報量の高いサンプルを捉えていることが示唆される。