[論文レビュー] An Introduction to Transformers

Richard E. Turner|arXiv (Cornell University)|Apr 20, 2023

Neural Networks and Applications被引用数 7

ひとこと要約

論文は、訓練については議論せず、データ形式・目的・出力に焦点を当てた、トランスフォーマーアーキテクチャの数学的に正確で直感的な説明を提供する。トランスフォーマーはNLP、コンピュータビジョン、時空間モデリングにおける系列や集合の多用途な表現として位置づけられる。

ABSTRACT

The transformer is a neural network component that can be used to learn useful representations of sequences or sets of data-points. The transformer has driven recent advances in natural language processing, computer vision, and spatio-temporal modelling. There are many introductions to transformers, but most do not contain precise mathematical descriptions of the architecture and the intuitions behind the design choices are often also missing. Moreover, as research takes a winding path, the explanations for the components of the transformer can be idiosyncratic. In this note we aim for a mathematically precise, intuitive, and clean description of the transformer architecture. We will not discuss training as this is rather standard. We assume that the reader is familiar with fundamental topics in machine learning including multi-layer perceptrons, linear transformations, softmax functions and basic probability.

研究の動機と目的

• トランスフォーマーが操作するデータ形式（トークンの集合または系列）と入力・出力の形を明確にする。
• トランスフォーマーアーキテクチャの数学的に正確で直感的な説明を提供する。
• 訓練手順に踏み込まず、トランスフォーマーの中核概念と設計選択を説明する。

提案手法

• 入力データをトークンの集合または系列として formal に説明する。
• トランスフォーマーの目的を入力データの表現を学習することとして定義する。
• トランスフォーマーの構成要素とそれらの相互作用を正確かつ直感的に説明する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーの入力データの数学的に正確な定式化（トークンの集合または系列）は何か。
• RQ2 この形式的枠組みの中で、トランスフォーマーの目標と出力はどのように定義されるのか。
• RQ3 トランスフォーマーの中核的なアーキテクチャ要素と設計選択は何か、それを直感的かつ正確に説明できるのか。

主な発見

• トランスフォーマーは、データ点の系列または集合の表現を学習するニューラルコンポーネントとして示される。
• 本ノートはトランスフォーマーアーキテクチャの数学的に正確で直感的な説明を強調する。
• 訓練の詳細を述べず、NLP、コンピュータビジョン、時空間モデリング全体にわたるトランスフォーマーの影響力を論じる。