[論文レビュー] Sanity Checks for Lottery Tickets: Does Your Winning Ticket Really Win the Jackpot?

Xiaolong Ma, Geng Yuan+9 more|arXiv (Cornell University)|Jun 30, 2021

Gambling Behavior and Treatments被引用数 15

ひとこと要約

この論文は、学習レシピの質（学習率、訓練エポック、アーキテクチャ要因を含む）を考慮したより厳密な「ジャックポット」チケットの定義を提案することで、ロトスイッチ仮説を再評価する。深層ニューラルネットワーク（DNN）アーキテクチャを対象に広範な実験を実施した結果、ジャックポットチケットはハイパーパrameterおよびリセット接続に極めて感受性が高く、それらを特定するための実用的ガイドラインを提示した。その結果、現在の手法は厳密な基準ではしばしば失敗するが、わずかに緩められた条件下では成功することが明らかになった。

ABSTRACT

There have been long-standing controversies and inconsistencies over the experiment setup and criteria for identifying the "winning ticket" in literature. To reconcile such, we revisit the definition of lottery ticket hypothesis, with comprehensive and more rigorous conditions. Under our new definition, we show concrete evidence to clarify whether the winning ticket exists across the major DNN architectures and/or applications. Through extensive experiments, we perform quantitative analysis on the correlations between winning tickets and various experimental factors, and empirically study the patterns of our observations. We find that the key training hyperparameters, such as learning rate and training epochs, as well as the architecture characteristics such as capacities and residual connections, are all highly correlated with whether and when the winning tickets can be identified. Based on our analysis, we summarize a guideline for parameter settings in regards of specific architecture characteristics, which we hope to catalyze the research progress on the topic of lottery ticket hypothesis. Our codes are publicly available at: https://github.com/boone891214/sanity-check-LTH.

研究の動機と目的

• 実験的設定の不一致や『ジャックポット』チケットの特定基準が明確でないことが原因で長年にわたり生じてきたロトスイッチ仮説（LTH）研究における論争を解消すること。
• 学習レシピの質、アーキテクチャ、スパarsityに基づいて、真の『ジャックポット』チケットを特定するより厳密な基準を定義すること。
• 学習率、訓練エポック、リセット接続、ネットワーク容量といった主な要因がジャックポットチケットの出現に与える影響を実証的に調査すること。
• 多様なDNNアーキテクチャとデータセットにおいて、研究者が信頼性高くジャックポットチケットを特定できるように、データドリブンな実用的ガイドラインを開発すること。
• 厳密な条件下でジャックポットチケットが本当に存在するのかを明らかにするとともに、IMP や OMP といった既存手法の妥当性を評価すること。

提案手法

• 学習レシピパラメータ（学習率、エポック数）とパフォーマンス比較基準を明示的に含む、より厳密なロトスイッチ仮説の定義を提案する。
• 複数のDNNアーキテクチャ（例：ResNet-20、VGG-19）とデータセット（例：CIFAR-10）を対象に、ハイパーパrameterおよびスパarsityレベルを変化させた広範なアブレーションスタディを実施する。
• 反復的マグニチュードプルーニング（IMP）とワンショットマグニチュードプルーニング（OMP）を用いて、異なる初期化および訓練条件におけるサブネットワークのパフォーマンスを評価する。
• 学習率、リセット接続、ネットワーク深さといった要因とジャックポットチケットの成功確率との間の相関関係を定量的に分析する。
• 異なる学習率で事前学習を行い、その後、さまざまな学習率でサブネットワークを微調整することで、安定性とパフォーマンス向上の程度を評価する。
• 実証的なパターンに基づいて体系的なガイドラインを構築し、異なるネットワーク特性に最適なハイパーパラメータを推奨する。

実験結果

リサーチクエスチョン

• RQ1 先行するLTH研究における不一致を解消するための、『ジャックポット』チケットのより厳密な定義とは何か？
• RQ2 この厳密な定義のもとで、主要なDNNアーキテクチャにおいてジャックポットチケットは本当に存在するのか？
• RQ3 特に学習率と訓練エポックといった主要な学習ハイパーパラメータが、ジャックポットチケットの特定にどのように影響するか？
• RQ4 リセット接続やネットワーク容量といったアーキテクチャ的要因は、ジャックポットチケットの出現にどのような役割を果たすか？
• RQ5 OMPはいつIMPに比べて十分であり、いつロトスイッチ初期化が必要となるのか？

主な発見

• 提案された厳密な定義のもとでは、現在の手法を用いて真の『ジャックポット』チケットは一切検出されなかった。これは、先行研究の主張が最適でない学習レシピに基づいている可能性を示唆している。
• リセット接続が存在する場合、小さな学習率（例：0.01）を用いることで、（ほぼ）ジャックポットチケットを特定する可能性が著しく向上する。
• リセット接続のないネットワークでは、OMPがIMPと同等のパフォーマンスを達成するため、このような状況ではIMPが必ずしも必要ではないことが示唆された。
• 高い学習率（例：0.1）では、ロトスイッチ初期化されたサブネットワークの性能が劣化し、ランダムな再初期化を上回らなくなった。これは、元のLTHの主張と矛盾する。
• 事前学習に高い学習率（0.1、92.4％の精度を達成）を用いた場合、OMPによるサブネットワーク性能（87.4％）が0.01で事前学習した場合よりも優れていた。これは、事前学習段階での学習率選択が極めて重要であることを示している。
• サブネットワークの訓練における学習率の選択もパフォーマンスに影響を与える。例えば、ResNet-20で91.4％のスパarsityを適用した場合、サブネットワーク訓練に0.005を用いることで89.7％のIMP精度が得られ、0.01を用いた場合の89.4％を上回った。