[論文レビュー] On Warm-Starting Neural Network Training

Jordan T. Ash, Ryan P. Adams|arXiv (Cornell University)|Oct 18, 2019

Machine Learning and Data Classification参考文献 51被引用数 56

ひとこと要約

本論文は、逐次データ設定においてニューラルネットのウォームスタートが汎化に害を及ぼすことを示し、汎化ギャップを縮小しつつ訓練の高速化を保つ単純な shrink-then-perturb トリックを提案する。

ABSTRACT

In many real-world deployments of machine learning systems, data arrive piecemeal. These learning scenarios may be passive, where data arrive incrementally due to structural properties of the problem (e.g., daily financial data) or active, where samples are selected according to a measure of their quality (e.g., experimental design). In both of these cases, we are building a sequence of models that incorporate an increasing amount of data. We would like each of these models in the sequence to be performant and take advantage of all the data that are available to that point. Conventional intuition suggests that when solving a sequence of related optimization problems of this form, it should be possible to initialize using the solution of the previous iterate -- to "warm start" the optimization rather than initialize from scratch -- and see reductions in wall-clock time. However, in practice this warm-starting seems to yield poorer generalization performance than models that have fresh random initializations, even though the final training losses are similar. While it appears that some hyperparameter settings allow a practitioner to close this generalization gap, they seem to only do so in regimes that damage the wall-clock gains of the warm start. Nevertheless, it is highly desirable to be able to warm-start neural network training, as it would dramatically reduce the resource usage associated with the construction of performant deep learning systems. In this work, we take a closer look at this empirical phenomenon and try to understand when and how it occurs. We also provide a surprisingly simple trick that overcomes this pathology in several important situations, and present experiments that elucidate some of its properties.

研究の動機と目的

• 逐次データ更新シナリオにおいてニューラルネットをウォームスタートしたときに観察される汎化ギャップを動機づけ、分析する。
• アーキテクチャ、最適化アルゴリズム、データセット全体にわたり、汎化ギャップがどのように現れるかを定量化する。
• ウォームスタート文脈における従来の初期化/正則化アプローチを評価する。
• ウォームスタートの汎化ギャップを緩和する単純な修正技法を提案し検証する。
• データリッチな領域におけるオンライン学習と事前学習への影響を探る。

提案手法

• アーキテクチャ（ResNet-18、MLP、ロジスティック回帰）とデータセット（CIFAR-10、CIFAR-100、SVHN）に対して、ウォームスタートとランダム初期化されたネットワークを実証的に比較した。
• データがチャンクごとに到着し、前のパラメータを用いて更新する場合と新規開始を用いる場合のオンライン/バッチ更新実験。
• remedies の評価のためのバッチサイズと学習率の系統的なハイパーパラメータ探索。
• L2正則化、信頼度ペナルティ、敵対的訓練がギャップを緩和するかを test する正則化実験。
• 勾配のバランスをとるための縮小係数 lambda とノイズ sigma を制御した shrink, perturb, repeat トリックの導入と評価。
• トリックの機構を理解するための勾配の大きさの分析。

実験結果

リサーチクエスチョン

• RQ1 新しいデータでニューラルネットを更新する際、ウォームスタートはランダム初期化と比べて汎化を低下させるか。
• RQ2 モデルの種類、データセットの難易度、最適化手法によって汎化ギャップはどう変化するか。
• RQ3 従来の正則化やハイパーパラメータ調整でウォームスタート訓練のギャップを解決できるか。
• RQ4 単純な初期化の変更（shrink-perturb）で汎化を回復し、逐次更新での訓練をより速くすることができるか。
• RQ5 データリッチな領域における事前訓練の転移とウォームスタートの相互作用はどうなるか。

主な発見

• ウォームスタートされたニューラルネットワークは、訓練精度が類似していても、ランダム初期化された counterparts より汎化が常に劣る。
• 汎化ギャップは CIFAR-10 で SVHN より顕著であり、ロジスティック回帰（凸損失）は影響を受けにくい。
• バッチサイズ変更も学習率変更もギャップを完全には解決せず、場合によってはウォームスタートモデルが以前の学習を忘れつつ、訓練はより速く進む。
• 単純な shrink-perturb トリック（ theta^t = lambda theta^{t-1} + p^t, p^t ~ N(0, sigma^2) ）はギャップを縮小しオンライン訓練を加速でき、lambda はおおむね 0.6 程度でランダム初期値の性能に一致する。
• 縮小は学習済み仮説を一定程度保持し、旧データと新データ間の勾配寄与をバランスさせ、摺動と組み合わせると純粋なウォームスタートより訓練効率と汎化の両方を改善する。
• 関係のないデータからの事前学習転移はデータリッチな二次タスクで性能を傷つけることがある；shrink-perturb 初期化は転移シナリオをまたいで適応し、データの利用可能性に応じてウォームスタートやスクラッチ訓練と同等以上の性能を発揮する。