[論文レビュー] READ: Recurrent Adaptation of Large Transformers

John Nguyen, Sid Wang+2 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 4

ひとこと要約

READは、固定されたバックボーンを介さずにタスク固有の入力に適応する小型のRNNベースのサイドネットワークを挿入することで、大規模なTransformerモデルの軽量でメモリ効率の良い微調整手法を提案する。バックボーンを微調整しないため、逆誤差伝搬をバックボーン全体に実行する必要がなく、全微調整と比較してトレーニングメモリを56%削減、GPUエネルギー消費を84%削減するが、モデルサイズや推論遅延に影響を与えない。

ABSTRACT

Fine-tuning large-scale Transformers has led to the explosion of many AI applications across Natural Language Processing and Computer Vision tasks. However, fine-tuning all pre-trained model parameters becomes impractical as the model size and number of tasks increase. Parameter-efficient transfer learning (PETL) methods aim to address these challenges. While effective in reducing the number of trainable parameters, PETL methods still require significant energy and computational resources to fine-tune. In this paper, we introduce extbf{RE}current extbf{AD}aption (READ) -- a lightweight and memory-efficient fine-tuning method -- to overcome the limitations of the current PETL approaches. Specifically, READ inserts a small RNN network alongside the backbone model so that the model does not have to back-propagate through the large backbone network. Through comprehensive empirical evaluation of the GLUE benchmark, we demonstrate READ can achieve a $56\%$ reduction in the training memory consumption and an $84\%$ reduction in the GPU energy usage while retraining high model quality compared to full-tuning. Additionally, the model size of READ does not grow with the backbone model size, making it a highly scalable solution for fine-tuning large Transformers.

研究の動機と目的

• 大規模なTransformerモデルの微調整に伴う高い計算コストとメモリ消費を低減すること、特にモデルサイズとタスク数の増加に伴う課題に焦点を当てる。
• 大規模なバックボーンを介した逆誤差伝搬を必要とするため、依然として顕著なエネルギーとメモリ消費を要する既存のパラメータ効率の良い移行学習（PETL）手法の限界を克服すること。
• Ladder-Side Tuningなどの従来のサイドチューニング手法で必須であったサイドネットワークの事前学習を不要にする。
• モデル品質を維持しながら、トレーニングリソースの消費を著しく削減する、スケーラブルで軽量なソリューションを開発すること。
• リソース制約のある環境でも実用的な大規模モデルの微調整済みモデルのデプロイを可能にするために、メモリとエネルギー消費の両方を最小限に抑えること。

提案手法

• 固定されたTransformerバックボーンとは別に、微調整可能な小型RNNネットワーク（READ）をサイドネットワークとして挿入し、キャッシュされた中間活性化値を処理する。
• 複数の情報源（入力埋め込みや中間隠れ状態など）を統合するためのジョイナー（Joiner）ネットワークを用い、各レイヤーでRNNの入力に統合する。
• バックボーンとREADネットワークを独立して前方伝搬させ、再計算を避けるために中間表現をキャッシュする。
• エンコーダーおよびデコーダーの各レイヤーでRNN隠れ状態を繰り返し計算し、その後RNN出力をバックボーン出力に加算して最終予測を生成する。
• バックボーンの重みをすべて固定し、パrameterの更新と逆誤差伝搬コストを低減するため、RNNパラメータと最終分類ヘッドのみを学習する。
• Ladder-Side Tuningとは異なり、サイドネットワークの事前学習を不要とする。代わりに、RNNをそのまま初期化し、スクラッチから直接学習する。

Figure 1: The normalized energy consumption relative to full-tuning on GLUE tasks.

実験結果

リサーチクエスチョン

• RQ1 軽量なRNNベースのサイドネットワークは、全微調整と同等の性能を達成しながら、メモリとエネルギー消費を著しく削減できるか？
• RQ2 サイドチューニング手法において、サイドネットワークの事前学習を不要にするアプローチが、効率性とスケーラビリティを向上させるか？
• RQ3 LoRA、アダプタ、プロンプトチューニングなどの既存のPETL手法と比較して、READはメモリ、エネルギー、推論遅延の観点でどのように差をつけるか？
• RQ4 READは、モデルサイズや推論オーバーヘッドを増加させることなく、GLUEのような多様なNLPベンチマークで高いモデル品質を維持できるか？
• RQ5 READのパフォーマンスと効率性は、大規模なバックボーン、特に3BパラメータのT5モデルを含むさまざまなバックボーンサイズにわたってスケーラブルか？

主な発見

• READはGLUEベンチマークにおいて、全微調整と比較してピークトレーニングメモリ消費量を56%削減した。
• READは全微調整と比較して、GPUエネルギー消費量を84%削減し、トレーニングコストを顕著に低減した。
• READはGLUEの全7タスクで競争力のあるモデル精度を維持し、全微調整および他のPETL手法と同等またはそれ以上の性能を達成した。
• READは推論時に追加の遅延やメモリオーバーヘッドを追加しなかった。RNNはトレーニング時のみに活性化されるためである。
• READネットワークのサイズはバックボーンモデルのサイズに比例して増加しないため、大規模なTransformerモデルに対して非常にスケーラブルである。
• READはLadder-Side Tuning（LST）を効率性とシンプルさの両面で上回り、サイドネットワークの事前学習を不要とし、トレーニングの複雑さを低減した。

Figure 2: Comparing READ and other fine-tuning methods over GLUE tasks on training energy and peak training memory relative to full-tuning. The y-axis is the average metric over 7 GLUE tasks. (left) The x-axis is the cumulative training energy in KWh. (right) The x-axis is the GPU peak training memo