[論文レビュー] Lottery Tickets on a Data Diet: Finding Initializations with Sparse Trainable Networks

Mansheej Paul, Brett W. Larsen+3 more|arXiv (Cornell University)|Jun 2, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本稿は、スパースでトレーニング可能なサブネットワークを発見するための反復的マグニチュードプルーニング（IMP）における初期事前学習の重要な役割を調査する。学習データのわずかな部分集合、特に「簡単な」例のみで学習を行うことで、フルデータセットで学習した場合と同等の初期化が得られることを示し、線形モード接続性といった損失ランドスケープの性質がIMPの成功を強く予測することを特定する。

ABSTRACT

A striking observation about iterative magnitude pruning (IMP; Frankle et al. 2020) is that $\unicode{x2014}$ after just a few hundred steps of dense training $\unicode{x2014}$ the method can find a sparse sub-network that can be trained to the same accuracy as the dense network. However, the same does not hold at step 0, i.e. random initialization. In this work, we seek to understand how this early phase of pre-training leads to a good initialization for IMP both through the lens of the data distribution and the loss landscape geometry. Empirically we observe that, holding the number of pre-training iterations constant, training on a small fraction of (randomly chosen) data suffices to obtain an equally good initialization for IMP. We additionally observe that by pre-training only on "easy" training data, we can decrease the number of steps necessary to find a good initialization for IMP compared to training on the full dataset or a randomly chosen subset. Finally, we identify novel properties of the loss landscape of dense networks that are predictive of IMP performance, showing in particular that more examples being linearly mode connected in the dense network correlates well with good initializations for IMP. Combined, these results provide new insight into the role played by the early phase training in IMP.

研究の動機と目的

• 反復的マグニチュードプルーニング（IMP）に成功するための、密度のある事前学習の最初の数百ステップがなぜ不可欠であるかを理解すること。
• 特に「簡単な」例からなる小さな訓練データのサブセットが、フルデータセットの事前学習を代替してIMPに適した初期化を達成できるかどうかを調査すること。
• IMPの成功結果を予測できる、密度のあるネットワーク初期化における損失ランドスケープの性質を同定すること。
• IMP事前学習におけるデータの役割と、密度のある学習における初期学習率ウォームアップの役割を比較すること。
• スパースネットワークの発見に最適なデータおよび事前学習のスケジュールを特定することで、より効率的なトレーニング戦略を導くこと。

提案手法

• ランダムに選択されたサブセットおよびEL2Nスコア（例の難易度）でフィルタリングされたサブセットを用いて、密度のあるネットワークをプルーニングされたデータセットで事前学習する。
• 各事前学習ステップでのスパースサブネットワークのテスト精度を評価することで、IMPの成功度を測定する。
• 同じ初期化から独立して訓練された2つのネットワーク間の訓練損失バリアを計算し、損失ランドスケープの安定性を評価する。
• 同じ初期化から得られる異なるデータ順序で訓練された密度のあるネットワークの重み間の線形モード接続性を、ランドスケープ幾何の代理指標として用いる。
• 学習率ウォームアップの期間とデータ構成（簡単、ランダム、困難）を変更して、密度のある学習における安定性を評価する。
• 事前学習のパフォーマンス（テスト精度）および損失ランドスケープの性質（訓練損失バリア、モード接続性）を、最終的なIMP成功度と相関させる。

実験結果

リサーチクエスチョン

• RQ1 「簡単な」例からなる小さな訓練データサブセットが、フルデータセットの事前学習を代替してIMPに適した初期化を達成できるか？
• RQ2 特に訓練損失バリアと線形モード接続性といった損失ランドスケープの性質が、IMPの成功をどれほど予測できるか？
• RQ3 簡単なデータで事前学習することで、IMPに適した初期化を発見するのに必要なステップ数が減少するか？
• RQ4 IMP事前学習におけるデータの役割と、密度のある学習における学習率ウォームアップにおけるデータの役割を比較するとどうなるか？
• RQ5 密度のあるネットワークの初期化段階における損失ランドスケープの幾何的性質が、その後のスパースネットワークのパフォーマンスと強く相関するか？

主な発見

• ランダムに選択されたデータの10%を数百ステップ程度で学習するだけで、フルデータセットの事前学習と同等の性能を持つスパースサブネットワークをIMPが発見できる初期化が得られる。
• EL2Nスコアで「最も簡単な」例のみで事前学習を行うと、ランダムまたはフルデータサブセットと比較して、IMPに適した初期化を発見するのに必要な事前学習ステップ数が減少する。
• 同じ初期化から独立して訓練された2つのネットワーク間の訓練損失バリアは、最終的なIMPパフォーマンスを予測する上で、事前学習のテスト精度よりも強く相関している。
• 密度のあるネットワークの損失ランドスケープにおける個々の例に対する線形モード接続性は、IMPの成功を予測するのに有効である：高い接続性は、より良いスパースサブネットワークのパフォーマンスを示唆する。
• IMP事前学習とは対照的に、学習率ウォームアップ段階で簡単なデータを使用すると、特に長いウォームアップ期間では、トレーニングの安定性とパフォーマンスが悪化する。
• 密度のあるネットワークの初期化段階における損失ランドスケープの幾何的性質、特に訓練損失バリアと例レベルのモード接続性は、単に事前学習精度よりも、IMPの成功を予測する上で強い予測力を持つ。