[论文解读] Linear algebra with transformers

François Charton|arXiv (Cornell University)|Dec 3, 2021

Neural Networks and Applications被引用 11

一句话总结

该论文表明，小型Transformer模型能够直接从数值示例中学习执行复杂的线性代数运算——如矩阵乘法、特征值分解和矩阵求逆——在使用四种不同的实数编码方案时，准确率超过90%。这些模型对分布外矩阵表现出稳健的泛化能力，尤其在使用拉普拉斯分布特征值进行训练时，表明尽管此前在基础算术运算上存在困难，Transformer仍能处理非平凡的数值计算。

ABSTRACT

Transformers can learn to perform numerical computations from examples only. I study nine problems of linear algebra, from basic matrix operations to eigenvalue decomposition and inversion, and introduce and discuss four encoding schemes to represent real numbers. On all problems, transformers trained on sets of random matrices achieve high accuracies (over 90%). The models are robust to noise, and can generalize out of their training distribution. In particular, models trained to predict Laplace-distributed eigenvalues generalize to different classes of matrices: Wigner matrices or matrices with positive eigenvalues. The reverse is not true.

研究动机与目标

• 探究Transformer是否能仅通过纯示例训练学习数值线性代数运算，尽管其在基础算术方面存在已知困难。
• 评估不同编码方案在序列模型中表示实数的有效性。
• 评估训练模型在分布外情况下的泛化能力，特别是针对与特征值相关的任务。
• 探索随机矩阵理论在实现神经网络分布外泛化中的作用。
• 证明即使不取代传统数值库，Transformer也可作为科学人工智能的计算构建模块。

提出的方法

• Transformer在表示矩阵的标记序列上进行端到端训练，这些矩阵以三位有效数字的科学记数法编码。
• 提出了四种编码方案——P10、P1000、B1999和FP15，并在输入和输出序列中评估其表示实数的性能。
• 每个线性代数问题（如矩阵转置、求逆、SVD）均以标准Transformer架构的序列到序列任务形式建模。
• 模型在大规模随机生成矩阵数据集上进行训练，真实输出通过NumPy的linalg模块计算得出。
• 架构采用非对称配置，如单层编码器或解码器，以研究效率与性能之间的权衡。
• 通过测试具有不同统计特性（如威格纳矩阵、正定矩阵）的矩阵来评估泛化能力，特别关注特征值分布。

实验结果

研究问题

• RQ1 Transformer能否仅从纯数值示例中学习复杂的线性代数运算，如特征值分解和矩阵求逆？
• RQ2 不同的实数编码方案如何影响模型在数值计算任务中的性能与泛化能力？
• RQ3 在一类矩阵（如拉普拉斯分布特征值）上训练的模型，能在多大程度上泛化到其他矩阵类型（如威格纳矩阵）？
• RQ4 使用随机矩阵理论原则是否能提升基于Transformer的数值计算中的泛化能力？
• RQ5 小型高效的Transformer能否在不依赖符号运算的情况下，实现高精度的数值线性代数任务？

主要发现

• 在随机矩阵上训练的Transformer在全部九项线性代数任务中准确率超过90%，其中大多数任务准确率超过99%。
• 以拉普拉斯分布特征值训练的模型能有效泛化到威格纳矩阵和正定矩阵，但反之则不然。
• 模型对输入噪声具有鲁棒性，在矩阵系数显著扰动下仍保持高准确率。
• 编码方案的选择显著影响性能，其中FP15和B1999在复杂任务中表现优于P10和P1000。
• 非对称架构（如6层编码器配1层解码器）以更少参数实现高性能，表明其能高效学习数值模式。
• 实证验证确认威格纳矩阵的特征值标准差仅取决于矩阵维度和系数方差，支持理论预测并促进泛化。