[論文レビュー] A Survey of Lottery Ticket Hypothesis

Bohan Liu, Zijie Zhang+7 more|arXiv (Cornell University)|Mar 7, 2024

Gambling Behavior and Treatments被引用数 5

ひとこと要約

この論文は Lottery Ticket Hypothesis (LTH) を概観し、理論、特別なモデル、アルゴリズム、実験、効率、他のトピックとの関係、応用を要約し、未解決の課題と将来の方向性について議論します。

ABSTRACT

The Lottery Ticket Hypothesis (LTH) states that a dense neural network model contains a highly sparse subnetwork (i.e., winning tickets) that can achieve even better performance than the original model when trained in isolation. While LTH has been proved both empirically and theoretically in many works, there still are some open issues, such as efficiency and scalability, to be addressed. Also, the lack of open-source frameworks and consensual experimental setting poses a challenge to future research on LTH. We, for the first time, examine previous research and studies on LTH from different perspectives. We also discuss issues in existing works and list potential directions for further exploration. This survey aims to provide an in-depth look at the state of LTH and develop a duly maintained platform to conduct experiments and compare with the most updated baselines.

研究の動機と目的

• Lottery Ticket Hypothesis とその理論的基礎を説明する。
• 多様なモデルタイプとタスクにわたる LTH の研究を分類・総括する。
• LTH における実践的な課題、効率性の懸念、スケーラビリティの問題を特定する。
• 勝ちチケットを発見するためのアルゴリズムと初期化/剪定戦略をレビューする。
• LTH 研究の再現性と比較を進めるための方向性とベンチマークを提案する。

提案手法

• pretraining、pruning、reinitialization を含む LTH の形式的表記フレームワークを提供する。
• 反復的マグニチュードベース剪定とワンショット剪定アプローチを要約・比較する。
• 勝ちチケットと強い lottery tickets の存在を証明する理論的結果を調査する。
• GNNs、Transformers、生成モデルなどの特別なモデルにまたがる LTH のバリアントを整理する。
• 剪定の範囲、層ごと vs グローバル剪定、ゼロ、符号、supermasks などの重要な要因に関する実験的洞察をレビューする。
• LTH 文献の分類法を提示し、公開コードベースとベンチマークを要約する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャとタスク全般における勝ちチケットの存在の現時点でのエビデンスは何か？
• RQ2 初期化、剪定戦略、再訓練が実際に lottery tickets の成功にどのように影響するか？
• RQ3 LTH を特別なモデル（GNNs、Transformers、GANs/VAEs）や新しいドメインにどのように拡張できるか？
• RQ4 勝ちチケットの発見と利用における主な効率性とスケーラビリティのボトルネックは何で、それをどう緩和できるか？

主な発見

• Winning tickets は密なネットワークにも存在し、初期化から再訓練した場合に元のモデルと同等かそれを上回ることがある。
• Strong lottery tickets が存在し得る状況では、サブネットワークが訓練なしで良い性能を示す。
• Special models (GNNs, Transformers, Generative Models) は特別な LTH 定式化を必要とし、転移可能性と効率化の利得は様々である。
• Various initialization and pruning strategies, including weight rewinding and learning rate rewinding, significantly affect ticket quality.
• There is a recognized need for standardized experimental settings, reproducibility benchmarks, and open-source platforms for fair comparisons.
• Pruning efficiency and hardware-aware structured pruning remain active areas to bridge theory with real-world deployment.