[論文レビュー] One Epoch Is All You Need

Aran Komatsuzaki|arXiv (Cornell University)|Jun 16, 2019

Topic Modeling参考文献 16被引用数 19

ひとこと要約

本稿では、提案されたヒューリスティックを用いてモデルサイズと学習イテレーションを調整することで、大幅に大きなデータセット上で1エポックのみ学習する、教師なし変換器言語モデルのトレーニング手法を提案している。この手法により、過学習を伴わず、壁時計時間で3.3–5.1倍の高速化が達成され、マルチエポック学習を上回る性能が得られ、BERT や GPT-2 などのモデルのトレーニングコストを最大10倍まで削減する道筋が示唆される。

ABSTRACT

In unsupervised learning, collecting more data is not always a costly process unlike the training. For example, it is not hard to enlarge the 40GB WebText used for training GPT-2 by modifying its sampling methodology considering how many webpages there are in the Internet. On the other hand, given that training on this dataset already costs tens of thousands of dollars, training on a larger dataset naively is not cost-wise feasible. In this paper, we suggest to train on a larger dataset for only one epoch unlike the current practice, in which the unsupervised models are trained for from tens to hundreds of epochs. Furthermore, we suggest to adjust the model size and the number of iterations to be performed appropriately. We show that the performance of Transformer language model becomes dramatically improved in this way, especially if the original number of epochs is greater. For example, by replacing the training for 10 epochs with the one epoch training, this translates to 1.9-3.3x speedup in wall-clock time in our settings and more if the original number of epochs is greater. Under one epoch training, no overfitting occurs, and regularization method does nothing but slows down the training. Also, the curve of test loss over iterations follows power-law extensively. We compare the wall-clock time of the training of models with different parameter budget under one epoch training, and we show that size/iteration adjustment based on our proposed heuristics leads to 1-2.7x speedup in our cases. With the two methods combined, we achieve 3.3-5.1x speedup. Finally, we speculate various implications of one epoch training and size/iteration adjustment. In particular, based on our analysis we believe that we can reduce the cost to train the state-of-the-art models as BERT and GPT-2 dramatically, maybe even by the factor of 10.

研究の動機と目的

• 大規模言語モデルのトレーニングにかかる高い計算コスト、特に大規模データセットを用いたマルチエポック学習における課題に対処すること。
• データセットサイズを拡大しつつ、エポック数を1に制限した場合に、効率性とパフォーマンスが向上するかを調査すること。
• 1エポック学習におけるパフォーマンスを維持または向上させるために、モデルサイズとイテレーション回数を調整するためのヒューリスティックを開発すること。
• データ豊富な教師なし学習において、マルチエポック学習が収束に不可欠であるという一般的な常識に挑戦すること。
• BERT や GPT-2 などの最先端モデルのトレーニングコストを、この手法を用いて最大10倍まで削減可能かどうかを検討すること。

提案手法

• 1エポック内で同じサンプルが繰り返し使われないよう、インターネットから緩い戦略でより多くのウェブページをサンプリングすることで、トレーニングデータセットのサイズを拡大する。
• 1エポック学習の文脈では過学習を防げないにもかかわらず、学習を遅くするだけであるため、すべての正則化技術を排除する。
• パrameter予算とシーケンス長のバランスを保つために、提案されたヒューリスティックを用いてモデルサイズとトレーニングイテレーション回数を調整する。
• 従来のマルチエポック学習と同等のパラメータ更新回数を確保するため、拡大されたデータセット上で正確に1エポック分だけ学習する。
• トレーニングのダイナミクスを分析し、1エポック学習の安定性を検証するために、イテレーションごとのテスト損失にべき乗則フィッティングを適用する。
• より多くのウェブページ（一部に破損したサンプルが混入してもよい）を含めるためのデータサンプリングのヒューリスティックを適用し、その影響をフィルタリングまたは軽減する手法を検討する。

実験結果

リサーチクエスチョン

• RQ1 同じ計算予算のもとで、より大きなデータセット上で1エポックのみ学習させたTransformer言語モデルが、マルチエポック学習を上回るパフォーマンスを達成できるか？
• RQ2 データセットが十分に大きい場合、1エポック学習では過学習が生じるか？また、正則化は安全に排除できるか？
• RQ3 1エポック学習において、パフォーマンスを最大化するために、モデルサイズとトレーニングイテレーション回数の最適なトレードオフは何か？
• RQ4 1エポック学習におけるテスト損失曲線はイテレーションの経過とともにどのように変化するか？また、べき乗則分布に従うか？
• RQ5 この手法を用いることで、BERT や GPT-2 などの最先端モデルのトレーニングコストを10倍まで削減可能か？

主な発見

• データセットの拡大と適切なサイズ／イテレーション調整を伴う1エポック学習は、従来のマルチエポック学習と比較して、壁時計時間で3.3–5.1倍の高速化を達成する。
• 1エポック学習では過学習が発生せず、正則化手法は効果を示さない。むしろ、利益をもたらさないにもかかわらず学習を遅くするだけである。
• イテレーションごとのテスト損失は広範囲にわたりべき乗則に従うことが示され、安定的で予測可能なトレーニングダイナミクスであることが裏付けられた。
• 特に元々のエポック数が高かった場合（例：10以上）、Transformer言語モデルのパフォーマンスは1エポック学習によって著しく向上する。
• モデルサイズとイテレーション回数の調整に用いられたヒューリスティックは、個別に適用した場合に1–2.7倍の高速化をもたらし、1エポック学習と組み合わせることで、著者らの実験では3.3–5.1倍の高速化を達成した。
• 著者らは、スケーリングと効率性の分析に基づき、BERT や GPT-2 のようなモデルのトレーニングコストをこの手法を用いて10倍まで削減可能であると推測している。