[论文解读] Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers

Colin Wei, Yining Chen+1 more|arXiv (Cornell University)|Jul 28, 2021

Neural Networks and Applications参考文献 53被引用 6

一句话总结

本文提出了一种统计上有意义（SM）近似的新理论框架，确保神经网络能够从有限数据中以低样本复杂度学习目标函数。它表明，过参数化的前馈网络和变换器（transformers）可分别以多项式样本复杂度（关于电路/图灵机规模）和对数复杂度（关于计算时间）实现对布尔电路和图灵机的SM近似，其核心是基于新颖的一般化边界，优于传统的VC或范数方法。

ABSTRACT

A common lens to theoretically study neural net architectures is to analyze the functions they can approximate. However, constructions from approximation theory may be unrealistic and therefore less meaningful. For example, a common unrealistic trick is to encode target function values using infinite precision. To address these issues, this work proposes a formal definition of statistically meaningful (SM) approximation which requires the approximating network to exhibit good statistical learnability. We study SM approximation for two function classes: boolean circuits and Turing machines. We show that overparameterized feedforward neural nets can SM approximate boolean circuits with sample complexity depending only polynomially on the circuit size, not the size of the network. In addition, we show that transformers can SM approximate Turing machines with computation time bounded by $T$ with sample complexity polynomial in the alphabet size, state space size, and $\log (T)$. We also introduce new tools for analyzing generalization which provide much tighter sample complexities than the typical VC-dimension or norm-based bounds, which may be of independent interest.

研究动机与目标

• 为弥合通用近似理论与实际深度学习之间的鸿沟，要求近似网络能够从有限数据中实现统计可学习性。
• 形式化一种新的近似概念——统计上有意义（SM）近似，以确保良好泛化性与低样本复杂度。
• 分析使用过参数化神经网络和变换器近似布尔电路和图灵机的样本复杂度。
• 开发依赖于问题内在规模而非网络宽度或参数数量的一般化边界。
• 通过聚焦于有限精度和有限样本学习，解决先前工作中无限精度构造的问题。

提出的方法

• 提出统计上有意义（SM）近似的正式定义，要求近似族中的经验风险最小化器以高概率实现低近似误差。
• 引入一种新的泛化边界框架，其依赖于目标函数的内在复杂度（如电路规模或图灵机参数），而非近似网络的规模。
• 将该框架应用于证明：过参数化的前馈网络可对布尔电路实现SM近似，样本复杂度在电路规模上为多项式，在深度上为对数。
• 构建编码器-解码器变换器，对计算时间受限于T的图灵机实现SM近似，样本复杂度在字母表大小、状态空间大小和log(T)上为多项式。
• 利用残差连接和注意力机制的稳定性和敏感性分析，界定参数扰动下隐藏状态和输出的扰动范围。
• 通过施加网络组件（如激活函数和前馈层）的Lipschitz连续性条件，推导在参数扰动下的误差传播边界。

实验结果

研究问题

• RQ1 神经网络能否以既具表达力又可从有限数据中统计学习的方式近似布尔电路？
• RQ2 变换器能否以合理随问题规模增长的样本复杂度，对有界计算时间的图灵机进行模拟？
• RQ3 传统泛化边界（如VC维或范数基）是否无法捕捉实际深度学习模型的真实样本复杂度？
• RQ4 我们能否定义一种近似概念，以同时保证表达力与统计可学习性，避免依赖无限精度或指数级参数数量？
• RQ5 使用现代架构（如变换器）近似复杂计算模型（如图灵机）时，最紧致的一般化边界是什么？

主要发现

• 过参数化的前馈网络可对布尔电路实现SM近似，其样本复杂度仅依赖于电路规模，而不依赖于网络宽度或参数数量。
• 变换器可对计算时间受限于T的图灵机实现SM近似，样本复杂度在字母表大小、状态空间大小和log(T)上为多项式。
• 所提出的泛化边界显著优于标准的VC维或范数基边界，尤其在深层或过参数化网络中表现更优。
• 分析表明，先前工作中依赖无限精度的构造不切实际，因为有限精度、有限宽度的网络受流式空间限制，无法模拟图灵机。
• 计数论证证实：参数数量为次线性的有限精度网络无法记忆任意标记组合，从而否定了基于无限精度的主张。
• 该框架成功消除了从有限样本拟合目标函数的统计疑虑，转而关注可学习性而非单纯的表达能力。