[論文レビュー] Predicting Training Time Without Training

Luca Zancato, Alessandro Achille+3 more|arXiv (Cornell University)|Aug 28, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、実際のトレーニングを実施せずに、関数空間における低次元の確率微分方程式（SDE）を用いてトレーニングダイナミクスをモデル化することで、微調整されたディープネットワークのトレーニング時間を予測する手法を提案する。本手法は、完全なトレーニングに比べて30〜45倍の計算コストを削減しながら、20%の誤差範囲で予測を達成する。

ABSTRACT

We tackle the problem of predicting the number of optimization steps that a pre-trained deep network needs to converge to a given value of the loss function. To do so, we leverage the fact that the training dynamics of a deep network during fine-tuning are well approximated by those of a linearized model. This allows us to approximate the training loss and accuracy at any point during training by solving a low-dimensional Stochastic Differential Equation (SDE) in function space. Using this result, we are able to predict the time it takes for Stochastic Gradient Descent (SGD) to fine-tune a model to a given loss without having to perform any training. In our experiments, we are able to predict training time of a ResNet within a 20% error margin on a variety of datasets and hyper-parameters, at a 30 to 45-fold reduction in cost compared to actual training. We also discuss how to further reduce the computational and memory cost of our method, and in particular we show that by exploiting the spectral properties of the gradients' matrix it is possible predict training time on a large dataset while processing only a subset of the samples.

研究の動機と目的

• 実際のトレーニングを実施せずに、事前に訓練されたディープネットワークが目標損失値に収束するまでに必要な最適化ステップ数を予測すること。
• 線形化近似を用いて微調整されたネットワークのトレーニングダイナミクスをモデル化し、時間経過に伴う損失および正答率の解析的予測を可能にすること。
• 勾配行列の固有値特性を活用することで、トレーニング時間の予測における計算コストおよびメモリ使用量を削減すること。
• トレーニングサンプルのサブセットのみを用いても、大規模データセット上で高速かつスケーラブルに収束時間の予測を可能にすること。

提案手法

• 線形化ネットワーク近似から導出された関数空間における低次元の確率微分方程式（SDE）を用いて、ディープネットワークの微調整ダイナミクスをモデル化する。
• SDEを解析的に解き、最適化過程の任意の時点でトレーニング損失および正答率の変化を予測する。
• SDEの解を用いて、目標損失値に到達するまでに必要なSGDステップ数を推定し、実際のトレーニングを回避する。
• 勾配行列の固有値分解を活用して、予測中の計算コストおよびメモリ使用量を削減する。
• スケーラブルな予測を実現するため、トレーニングデータのサブセットを用いてスペクトル特性を活用する。
• SDEのパラメータをわずかな初期トレーニングステップのみを用いてキャリブレーションし、長期的な予測の正確性を確保する。

実験結果

リサーチクエスチョン

• RQ1 実際のトレーニングを一切行わずに、収束に必要な最適化ステップ数を予測することは可能か？
• RQ2 線形化されたSDEモデルは、微調整されたディープネットワークのトレーニングダイナミクスをどれほど正確に捉えることができるか？
• RQ3 予測の計算コストは完全なトレーニングに比べてどの程度で、どのようにして最小化できるか？
• RQ4 勾配のスペクトル特性を活用することで、予測におけるメモリおよび計算量を削減しつつ、精度を維持できるか？
• RQ5 本手法は、さまざまなデータセットおよびハイパーパrameter設定に一般化可能か？

主な発見

• 本手法は、さまざまなデータセットおよびハイパーパrameter設定において、ResNetモデルのトレーニング時間を平均20%未満の誤差で予測する。
• 予測には実際のトレーニングの1/30〜1/45の計算コストで十分であり、迅速なモデル選択が可能になる。
• 勾配行列のスペクトル特性を活用することで、トレーニングサンプルのサブセットのみを処理する計算コストおよびメモリ使用量を削減する。
• SDEベースのモデルはトレーニングダイナミクスを正確に捉えており、損失および正答率の時間的外挿が信頼性を持って可能になる。
• 本アプローチは、多様なデータセットおよびハイパーパrameter設定においても安定しており、一般化能力を示している。
• 本手法により、収束時間の予測が数秒で可能となるが、完全なトレーニングでは数時間乃至数日を要する。