[論文レビュー] A Practical Survey on Faster and Lighter Transformers

Quentin Fournier, Gaétan Marceau Caron+1 more|arXiv (Cornell University)|Mar 26, 2021

Real-time simulation and control systems被引用数 13

ひとこと要約

本サーベイは、混合精度学習や勾配チェックポイント技術といった一般化された効率化手法から、Longformer、Reformer、Linformer、Performerといった低複雑性アーキテクチャに至るまで、Transformerの高速化・圧縮技術を包括的に分析している。モデル容量、計算量、メモリ使用量のトレードオフに基づいた手法選定の実用的ガイダンスを提供しており、実世界の展開を念頭に、事前学習モデルと効率的な学習手法の重要性を強調している。

ABSTRACT

Recurrent neural networks are effective models to process sequences. However, they are unable to learn long-term dependencies because of their inherent sequential nature. As a solution, Vaswani et al. introduced the Transformer, a model solely based on the attention mechanism that is able to relate any two positions of the input sequence, hence modelling arbitrary long dependencies. The Transformer has improved the state-of-the-art across numerous sequence modelling tasks. However, its effectiveness comes at the expense of a quadratic computational and memory complexity with respect to the sequence length, hindering its adoption. Fortunately, the deep learning community has always been interested in improving the models' efficiency, leading to a plethora of solutions such as parameter sharing, pruning, mixed-precision, and knowledge distillation. Recently, researchers have directly addressed the Transformer's limitation by designing lower-complexity alternatives such as the Longformer, Reformer, Linformer, and Performer. However, due to the wide range of solutions, it has become challenging for researchers and practitioners to determine which methods to apply in practice in order to meet the desired trade-off between capacity, computation, and memory. This survey addresses this issue by investigating popular approaches to make Transformers faster and lighter and by providing a comprehensive explanation of the methods' strengths, limitations, and underlying assumptions.

研究の動機と目的

• 標準Transformerにおける高い計算量とメモリ使用量の問題に対処し、リソース制約のある環境での展開を可能にする。
• 混合精度学習、勾配チェックポイント、 prune、知識蒸留といった一般化された効率化手法を、さまざまなシナリオにおいて評価・比較する。
• 特殊化された低複雑性Transformer変種（例：Longformer、Reformer、Linformer、Performer）の背後にある仮定、強み、限界を分析する。
• タスク要件とリソース制約に基づいて、最も適切な効率化戦略を選定するための実用的アドバイスを研究者および実務家に提供する。
• 効率的なTransformerの広範な影響、すなわちアクセス性の向上、環境的コストの低減、応用分野の拡大を強調する。

提案手法

• Transformer効率化を目的とした30以上の効率化手法およびアーキテクチャの体系的レビューと分類。
• 一般化されたニューラルネットワーク最適化（例：混合精度、prune、蒸留）と、注意計算量を低減した特殊化されたTransformer変種に手法を分類。
• 低複雑性モデルの背後にあるアーキテクチャ的仮定の分析、例えばLongformerにおけるスパース注意、Performerにおけるカーネル近似、Linformerにおける低ランク因子分解。
• 各手法におけるモデル表現力、推論速度、メモリ使用量、学習安定性のトレードオフを評価。
• 実験的ベンチマークと理論的複雑性解析を用いた手法比較、相対的効果的文脈長（RECL）をパフォーマンス指標として用いる。
• タスク固有の制約に基づく推奨フレームワーク：リソースが限られる状況では事前学習モデルを、学習から始める場合には混合精度と勾配チェックポイントのハイブリッド利用を推奨。

実験結果

リサーチクエスチョン

• RQ1 混合精度や勾配チェックポイントといった一般化された効率化手法は、実装コストを最小限に抑えつつ、どれほど実用的な利点をもたらすか？
• RQ2 Reformer や Performer といった特殊化された低複雑性Transformer変種は、性能を維持しつつ、どのように注意計算量を低減しているか？
• RQ3 各低複雑性Transformerアーキテクチャの主な仮定と限界は何か？それぞれの状況でいつそれらを優先すべきか？
• RQ4 効率化手法はモデルスケーリングとどのように相互作用するか？また、一般化性能を損なわずに、小さなモデルの有効な学習を可能にするか？
• RQ5 効率的なTransformerが研究の公平性、環境持続可能性、実世界の展開に与える広範な影響は何か？

主な発見

• 混合精度学習と勾配チェックポイントは、最小限の工数で顕著なメモリおよび計算量の削減が得られ、実装が簡単で広く適用可能であるため、推奨される。
• 利用可能な場合、事前学習モデルの使用を強く推奨する。これは、最小限の学習コストで高いパフォーマンスを達成でき、学習から始める場合よりも効率的であることが多い。
• Longformer や Reformer といった特殊化アーキテクチャは、スパース注意パターンを導入することで、長文脈のモデリングを可能にし、標準的な自己注意を超えたスケーラビリティを向上させる。
• Performer や Linformer は、線形的または低ランクの注意近似を実現し、それぞれ二次的複雑性を線形的または準二次的複雑性に低下させることで、長文書における高速推論を可能にする。
• 理論的利点があるものの、低複雑性モデルはしばしば慎重なハイパーパramータチューニングを要し、高い注意表現力が求められるタスクでは性能が劣ることがある。
• GPT-3 や BERT といった大規模モデルのスケーリングトレンドは、モデルサイズの増大に伴い性能が向上することを示唆しているが、これは効率化の目標と矛盾する。したがって、持続可能な進歩を実現するには、効率的なアーキテクチャが不可欠である。