[论文解读] An Introduction to Transformers

Richard E. Turner|arXiv (Cornell University)|Apr 20, 2023

Neural Networks and Applications被引用 7

一句话总结

论文提供了对 transformer 架构的数学精确、直观描述，聚焦数据格式、目标和输出，而不讨论训练。它将 transformers 定位为在 NLP、计算机视觉和时空建模中可用于序列或集合的通用表示。

ABSTRACT

The transformer is a neural network component that can be used to learn useful representations of sequences or sets of data-points. The transformer has driven recent advances in natural language processing, computer vision, and spatio-temporal modelling. There are many introductions to transformers, but most do not contain precise mathematical descriptions of the architecture and the intuitions behind the design choices are often also missing. Moreover, as research takes a winding path, the explanations for the components of the transformer can be idiosyncratic. In this note we aim for a mathematically precise, intuitive, and clean description of the transformer architecture. We will not discuss training as this is rather standard. We assume that the reader is familiar with fundamental topics in machine learning including multi-layer perceptrons, linear transformations, softmax functions and basic probability.

研究动机与目标

• 澄清 transformer 操作的数据格式（令牌的集合或序列）以及输入输出的形式。
• 提供对 transformer 架构的数学上精确且直观的描述。
• 在不深入训练过程的前提下，解释 transformer 的核心概念与设计选择。

提出的方法

• 给出输入数据的形式化描述，作为令牌的集合或序列。
• 将 transformer 的目标定义为学习输入数据的表示。
• 提供对 transformer 组件及其相互作用的精确、直观的叙述。

实验结果

研究问题

• RQ1 transformers 的输入数据在数学上精确的表述是什么（令牌的集合或序列）？
• RQ2 在这一定义框架中，transformer 的目标与输出是如何定义的？
• RQ3 transformer 的核心架构组件和设计选择有哪些，如何直观且精确地解释？

主要发现

• transformers 被展示为能够学习数据点序列或集合表示的神经网络组件。
• 该说明强调对 transformer 架构的数学上精确且直观的描述。
• 讨论将 transformers 定位于 NLP、计算机视觉和时空建模的影响力之上，但未详述训练。