[論文レビュー] Primer: Searching for Efficient Transformers for Language Modeling

David R. So, Wojciech Mańke+4 more|arXiv (Cornell University)|Sep 17, 2021

Topic Modeling参考文献 56被引用数 11

ひとこと要約

本稿では、TensorFlow計算グラフ上で直接探索することで、自己回帰的言語モデル用により効率的なTransformerアーキテクチャ「Primer」を紹介する。ReLU活性化関数の二乗化とQ/K/V投影後の深度方向畳み込みを導入することで、T5と比較して最大4.2倍、GPT-3 XLレベルのモデルと比較して3倍のトレーニング計算量削減を達成した。さまざまな設定において、性能を同等または上回りながらも、計算量を削減した。

ABSTRACT

Large Transformer models have been central to recent advances in natural language processing. The training and inference costs of these models, however, have grown rapidly and become prohibitively expensive. Here we aim to reduce the costs of Transformers by searching for a more efficient variant. Compared to previous approaches, our search is performed at a lower level, over the primitives that define a Transformer TensorFlow program. We identify an architecture, named Primer, that has a smaller training cost than the original Transformer and other variants for auto-regressive language modeling. Primer's improvements can be mostly attributed to two simple modifications: squaring ReLU activations and adding a depthwise convolution layer after each Q, K, and V projection in self-attention. Experiments show Primer's gains over Transformer increase as compute scale grows and follow a power law with respect to quality at optimal model sizes. We also verify empirically that Primer can be dropped into different codebases to significantly speed up training without additional tuning. For example, at a 500M parameter size, Primer improves the original T5 architecture on C4 auto-regressive language modeling, reducing the training cost by 4X. Furthermore, the reduced training cost means Primer needs much less compute to reach a target one-shot performance. For instance, in a 1.9B parameter configuration similar to GPT-3 XL, Primer uses 1/3 of the training compute to achieve the same one-shot performance as Transformer. We open source our models and several comparisons in T5 to help with reproducibility.

研究の動機と目的

• 大規模なTransformer言語モデルの高いトレーニングおよび推論コストを低減すること。
• TensorFlow計算グラフ上で低レベルの探索を実施し、より効率的なTransformerバージョンを発見すること。
• ハイパーパramータのチューニングを必要とせず、シンプルで実用的な修正を考案すること。
• 特にスケールが大きい状況において、モデル品質を損なわず、顕著な計算量の削減を達成すること。
• 従来のTransformerの即時置換を可能とし、最小限のコード変更で実装できること。

提案手法

• 探索は、自己回帰的言語モデルのデコーダーブロックを定義するTensorFlowプログラム上で実施される。
• 探索空間には、活性化関数、正規化、アテンション部品などの低レベル演算が含まれる。
• 進化的アルゴリズムを用いて、固定された計算量予算下での検証損失を最小化する方向に探索を行う。
• 各モデルは、T5 や T2T などの既存ライブラリから固定されたハイパーパramータセットを用いて評価される。
• ブロックベースの探索空間とは異なり、コンポーネントの順序入れ替えやプリミティブ（例：活性化関数や正規化の順序）の変更を許容する。
• 2つの重要な修正が同定された：ReLU活性化関数の二乗化と、Q、K、Vの投影後に深度方向畳み込み層を挿入すること。

実験結果

リサーチクエスチョン

• RQ1 Transformer計算グラフに対する低レベルのアーキテクチャ的修正は、性能に損なわれることなく顕著なトレーニングコスト削減をもたらすか？
• RQ2 提案された修正（ReLUの二乗化と深度方向畳み込み）は、さまざまなモデルサイズや計算量スケールにおいて、どのように効率性と品質を向上させるか？
• RQ3 発見されたアーキテクチャは、再チューニングなしに既存のコードベースに即時置換可能か？
• RQ4 Primerの効率的向上は計算量の増加に伴いスケーリングするか？また、モデル品質に関してはべき乗則に従うか？
• RQ5 これらの改善は、さまざまなデータセット、ハードウェアプラットフォーム、モデルファミリーに一般化可能か？

主な発見

• Primerは、5億パラメータのC4データセットでT5と同等の性能を達成するため、トレーニング計算量を4.2倍削減した。
• GPT-3 XLに類似した19億パラメータのモデルでは、Primerはトレーニング計算量を3分の1に抑えながら、ワンショット性能を同等に達成した。
• 2000万から19億パラメータのモデルサイズ、LM1B、C4、PG19のデータセット、TPUv2からV100までのハードウェア、T5、Lingvo、T2Tのコードベースにおいて、改善は安定している。
• 2つの主要な修正――Q/K/Vの投影後のReLU活性化関数の二乗化と深度方向畳み込みの挿入――が、大部分の性能向上を占めている。
• Primerの計算量の削減はスケールに伴い増大し、最適なサイズのモデルを用いる場合、モデル品質に関してべき乗則に従う。
• Primer-EZ（簡略化版）はT5で良好に動作するが、Lingvo や T2T などの他のコードベースでは、フルバージョンのPrimerが優れていることから、より広範な適用可能性が示唆される。