[论文解读] Formal Algorithms for Transformers

Mary Phuong, Marcus Hütter|arXiv (Cornell University)|Jul 19, 2022

Energy Load and Power Forecasting被引用 52

一句话总结

本文提供一个自包含、数学上精确的变换器架构概览，以及其核心算法、训练与推理的形式化伪代码，但不给出经验结果。

ABSTRACT

This document aims to be a self-contained, mathematically precise overview of transformer architectures and algorithms (*not* results). It covers what transformers are, how they are trained, what they are used for, their key architectural components, and a preview of the most prominent models. The reader is assumed to be familiar with basic ML terminology and simpler neural network architectures such as MLPs.

研究动机与目标

• 解释什么是变换器及其核心架构组件。
• 给出一个紧凑、形式化的变换器算法伪代码描述（约 50 行）。
• 描述变换器的分词、训练、推理以及实际注意事项。
• 比较显著的变换器架构（仅编码器、仅解码器、编码器-解码器）及其使用场景。
• 提供一个参考性基础，以从零开始实现变换器并推理其性质。

提出的方法

• 为变换器及其训练和推理过程定义一个形式化记法体系。
• 给出分词嵌入与位置嵌入算法。
• 详细介绍具有单头和多头变体的注意力机制，包括掩蔽、交叉注意力以及头聚合（Algorithms 3–5）。
• 引入层归一化的变体和去嵌入步骤（Algorithms 6–7）。
• 描述端到端的变换器架构，包括编码器-解码器、BERT 风格的编码器和 GPT 风格的解码器（Algorithms 8–9）。
• 提供简明、正式的描述，旨在促进对变换器模型的实现和理论分析。

实验结果

研究问题

• RQ1 描述变换器架构、训练与推理所需的最小形式化算法集合是什么？
• RQ2 如何将分词、注意力和归一化形式化，以实现从零开始的精确实现？
• RQ3 仅编码器、仅解码器和编码器-解码器变体在掩蔽和注意力方案上有何不同？
• RQ4 紧凑的伪代码级规范能否捕捉现代变换器的基本操作，以用于理论和实际应用？

主要发现

• 该文档在不到 50 行内提供了变换器组件和工作流的本质上完整的伪代码描述。
• 它涵盖分词、嵌入、位置编码、各种注意力机制和去嵌入，并给出用于训练和提示/推理的显式算法。
• 它调查了如 EDTransformer、BERT、GPT 等著名的变换器架构，并将它们与相应的算法和章节联系起来。
• 它主张形式化算法有助于提高精确性、可重复性以及在 DL 发表中的记法约定。
• 它旨在为需要紧凑、精确的 Transformer 规范以用于实现和分析的理论家与从业者服务。