[論文レビュー] Navigating Scaling Laws: Compute Optimality in Adaptive Model Training

Sotiris Anagnostidis, Gregor Bachmann+2 more|arXiv (Cornell University)|Nov 6, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文では、ビジョントランスフォーマーにおける計算最適化を達成するために、トレーニング中にモデル形状（特にパッチサイズと幅）を動的に調整する適応的トレーニング戦略を提案する。ニューラルスケーリング法則に基づいてこれらのパラメータをスケジューリングすることで、静的モデルと比較して必要なFLOPsを50％以上削減しながら、精度を維持または向上させることができる。

ABSTRACT

In recent years, the state-of-the-art in deep learning has been dominated by very large models that have been pre-trained on vast amounts of data. The paradigm is very simple: investing more computational resources (optimally) leads to better performance, and even predictably so; neural scaling laws have been derived that accurately forecast the performance of a network for a desired level of compute. This leads to the notion of a `compute-optimal' model, i.e. a model that allocates a given level of compute during training optimally to maximize performance. In this work, we extend the concept of optimality by allowing for an `adaptive' model, i.e. a model that can change its shape during training. By doing so, we can design adaptive models that optimally traverse between the underlying scaling laws and outpace their `static' counterparts, leading to a significant reduction in the required compute to reach a given target performance. We show that our approach generalizes across modalities and different shape parameters.

研究の動機と目的

• 静的モデルトレーニングの非効率性に対処する。これは、既知のスケーリング法則があるにもかかわらず、固定されたアーキテクチャ形状が計算リソースの最適利用を妨げるためである。
• トレーニング中にモデル形状を動的に適応させることで、所定の性能目標に対して収束を速め、計算コストを低減できるかどうかを調査すること。
• 実験的スケーリング法則に基づいて、ビジョントランスフォーマーにおける形状パラメータ（パッチサイズおよび幅）のスケジューリング戦略を体系的かつスケーラブルに開発すること。
• 適応的モデルが静的モデルを上回る計算効率を示しつつ、性能目標を維持または超過できることを実証すること。

提案手法

• この手法は、トレーニング中の各計算レベルにおける最適なモデル構成（パッチサイズまたは幅）を予測するためにニューラルスケーリング法則を用いる。
• パッチサイズの適応には、1FLOPあたりの性能向上見込みに基づいて、異なるパッチサイズに段階的に移行するスケジュールを用いてモデルを訓練する。
• 幅の適応には、初期幅を小さい値（例：192）から始め、より大きな幅（例：384、768）に段階的に拡張する単純な拡張メカニズムを用いる。この際、元の重みは保持され、追加のパラメータはランダムに初期化される。
• 拡張プロセスは、アテンション重み、MLP重み、正規化パラメータを含むすべての層に適用され、トランスフォーマー構造と互換性を持つ。
• スケジューラは、次の計算増分に対して最も急な性能向上を示すスケーリング法に基づいて、次の形状パラメータ（パッチサイズまたは幅）を選択する。
• トレーニング全体を通して性能をモニタリングし、適応的モデルと固定サイズの静的モデルを比較することで、手法の有効性を検証する。

(a) Illustration of the effect of patch size on a given image.

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にモデル形状（パッチサイズまたは幅）を動的に適応させることで、静的モデルと比較して収束を速め、FLOPsを削減できるか？
• RQ2 同じ計算予算でトレーニングされた場合、適応的モデルの性能は静的モデルと比べて、精度および効率の面でどのように異なるか？
• RQ3 ニューラルスケーリング法則の原則を、形状パラメータのスケジューリングに応用することで、計算最適性に到達できる程度はどの程度か？
• RQ4 形状変更（例：幅の拡張後）における性能低下は、速やかに回復するか？長期的に見てもモデルは依然として最適であるか？
• RQ5 提案された適応的戦略は、パッチサイズと幅に加え、深さやスパarsityといった他の形状パラメータに対しても一般化可能か？

主な発見

• ビジョントランスフォーマーにおけるパッチサイズの適応的スケジューリングにより、ターゲットのImageNet-1k誤差率に到達するためのトレーニングFLOPsを50％以上削減でき、静的モデルを著しく上回る。
• 計算されたスケジューラに基づく適応的モデルは、形状遷移後の性能低下を速やかに回復させ、予測されたスケーリング法則と整合したままである。
• モデル幅のスケジューリングも計算効率の向上に寄与するが、パッチサイズ適応と比較するとやや顕著な向上は見られない。
• この手法は、各トレーニング段階で1FLOPあたりの性能向上を最大化する形状構成（パッチサイズまたは幅）を継続的に選択することで、計算最適性を達成する。
• 元の重みを保持し、追加パラメータをランダムに初期化する単純な拡張メカニズムが、回復と性能向上に十分であることが判明し、より複雑な関数保存スキームを上回る性能を示した。
• 結果から、動的適応により、複数のスケーリング法を最適に走破でき、異なる計算レベルで各形状構成の最良の性能特性を活用できることを確認した。

(b) ViT-B FLOPs.