[論文レビュー] Towards Understanding Iterative Magnitude Pruning: Why Lottery Tickets Win

Jaron Maene, Mingxiao Li+1 more|arXiv (Cornell University)|Jun 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 5

ひとこと要約

この論文は、大規模なバッチ学習を用いることで、大規模なビジョンモデルが初期化からロットリート・プリーニングを達成できることを示している。これにより学習が安定化し、線形モード接続性が実現される。本研究は、再吸収チケット解釈（RTI）を強く支持しており、反復的マグニチュードプリーニング（IMP）が、プリーニングラウンドを跨いで類似した最適解に再訓練されることを示している。これは、ロットリートチケットが事前の密度学習に依存しており、データに依存しない初期化では発見できないことを示唆している。

ABSTRACT

The lottery ticket hypothesis states that sparse subnetworks exist in randomly initialized dense networks that can be trained to the same accuracy as the dense network they reside in. However, the subsequent work has failed to replicate this on large-scale models and required rewinding to an early stable state instead of initialization. We show that by using a training method that is stable with respect to linear mode connectivity, large networks can also be entirely rewound to initialization. Our subsequent experiments on common vision tasks give strong credence to the hypothesis in Evci et al. (2020b) that lottery tickets simply retrain to the same regions (although not necessarily to the same basin). These results imply that existing lottery tickets could not have been found without the preceding dense training by iterative magnitude pruning, raising doubts about the use of the lottery ticket hypothesis.

研究の動機と目的

• 初期学習状態に戻さずに、大規模ビジョンモデルでロットリートチケットが発見可能かどうかを調査すること。
• 再吸収チケット解釈（RTI）をテストすること。RTIは、プリーニングラウンドを跨いでチケットが類似した最適解に再訓練されることを主張する。
• IMPの成功が、単にランダム初期化ではなく、同じ解領域に再訓練することに起因するかどうかを特定すること。
• 学習安定性と線形モード接続性がロットリートチケット発見を可能にする役割を評価すること。
• 事前密度学習への依存性を分析することで、データに依存しないプリーニングの可能性を評価すること。

提案手法

• 大規模バッチ確率的勾配降下法を用いて学習を安定化させ、初期化から線形モード接続性を達成する。
• 各プリーニングラウンド後に重みを初期値にリセットする反復的マグニチュードプリーニング（IMP）を用いる。
• 以前に発見された最適解を遠ざけるように損失関数を変更し、IMPがRTIに因果的に依存しているかをテストする。
• プリーニングラウンド間での重みベクトル間の角度距離を測定し、解の類似度を定量化する。
• 異なる学習経路からの解の間の線形モード接続性を評価し、安定性を測定する。
• 損失関数に遠ざけ機能を追加した場合としない場合のIMPの性能を比較し、解の類似度がプリーニング成功に与える影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 初期学習状態に戻さずに、大規模ビジョンモデルでロットリートチケットが発見可能か？
• RQ2 反復的マグニチュードプリーニング（IMP）は、再吸収チケット解釈（RTI）が示すように、プリーニングラウンドを跨いで類似した最適解に再訓練するのか？
• RQ3 線形モード接続性を用いた学習安定性が、ロットリートチケット発見能力に与える影響は？
• RQ4 プリーニングスパarsityとプリーニングラウンド間での解の類似度の関係は？
• RQ5 データに依存しない初期化でロットリートチケットが発見可能か、それとも事前の密度学習が不可欠か？

主な発見

• 大規模バッチ学習により、学習が十分に安定化し、大規模ビジョンモデルで初期化からロットリートチケットが発見可能となり、初期状態への戻りが不要になった。
• 再吸収チケット解釈（RTI）は強く支持されている：IMPは、特に中程度のスパarsityで、プリーニングラウンドを跨いで類似した解領域に再訓練する。
• 以前に発見された最適解を遠ざけるように損失関数を変更した場合、IMPはロットリートチケットの発見能力を失うが、ランダム初期化ではその影響を受けない。
• 安定した学習下では、プリーニングラウンド間での重みベクトルの角度距離が一貫して小さく、解の類似度が強いことを示している。
• 極めて低スパarsityおよび高スパarsityでは、解が同じ損失盆地にないことがあり、RTIは中程度のスパarsityでより強く成立する。
• 結果から、データに依存しないプリーニング手法は成功しにくいと示唆され、ロットリートチケットは密度モデルの解に関する事前の知識に依存している。