[論文レビュー] Formal Algorithms for Transformers

Mary Phuong, Marcus Hütter|arXiv (Cornell University)|Jul 19, 2022

Energy Load and Power Forecasting被引用数 52

ひとこと要約

この論文は、自己完結的で数学的に正確なトランスフォーマーアーキテクチャの概要と、コアアルゴリズム・学習・推論の正式な疑似コードを提供するが、実証的な結果は提示していない。

ABSTRACT

This document aims to be a self-contained, mathematically precise overview of transformer architectures and algorithms (*not* results). It covers what transformers are, how they are trained, what they are used for, their key architectural components, and a preview of the most prominent models. The reader is assumed to be familiar with basic ML terminology and simpler neural network architectures such as MLPs.

研究の動機と目的

• トランスフォーマーが何であるかと、それらのコアとなるアーキテクチャ要素を説明する。
• トランスフォーマーアルゴリズムの、コンパクトで形式的な疑似コードの記述を提示する（約50行）。
• トークン化、学習、推論、およびトランスフォーマーの実践的考慮事項を説明する。
• 著名なトランスフォーマーアーキテクチャ（エンコーダーのみ、デコーダーのみ、エンコーダ-デコーダー）とそれらの用途を比較する。
• ゼロから実装するための参照のような基礎と、それらの性質について推論するための基盤を提供する。

提案手法

• トランスフォーマーとその訓練・推論手順のための形式的表記系を定義する。
• トークン埋め込みと位置埋め込みアルゴリズムを提示する。
• マスク処理、クロスアテンション、ヘッド集約を含む、シングルヘッドおよびマルチヘッドのバリアントでアテンション機構を詳述する（Algorithms 3–5）。
• 層正規化の変種とアンエンベディングステップを導入する（Algorithms 6–7）。
• エンコーダ-デコーダを含むエンドツーエンドのトランスフォーマーアーキテクチャ、BERT風エンコーダ、GPT風デコーダを説明する（Algorithms 8–9）。
• トランスフォーマーモデルの実装と理論分析を促進することを意図した、簡潔で形式的な記述を提供する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーアーキテクチャ、訓練、推論を説明するために必要な最小限の形式的アルゴリズム集合は何か？
• RQ2 トークン化、アテンション、正規化を、スクラッチからの正確な実装を可能にするようにどのように形式化できるか？
• RQ3 エンコーダーのみ、デコーダーのみ、エンコーダ-デコーダーのトランスフォーマーのバリアントは、それぞれのマスキングとアテンションスキームでどのように異なるか？
• RQ4 コンパクトな疑似コードレベルの仕様が、理論的および実用的な目的のために、現代のトランスフォーマーの本質的な操作を捉えることができるか？

主な発見

• 本稿は、50行未満で、トランスフォーマーのコンポーネントとワークフローのほぼ完全な疑似コード記述を提供する。
• トークン化、埋め込み、位置エンコーディング、さまざまなアテンション機構、およびアンエンベディングを含み、訓練と prompting/推論の明示的なアルゴリズムを提供する。
• 著名なトランスフォーマーアーキテクチャ（EDTransformer, BERT, GPT）を概観し、それらを対応するアルゴリズムとセクションに結びつける。
• 正式なアルゴリズムの価値を、精度、再現性、DL論文の表記慣を改善する点で主張する。
• 実装と分析のために、コンパクトで正確な Transformer の仕様を必要とする理論家と実務家のために役立つことを目指す。