[论文解读] A Survey of Neural Networks and Formal Languages

Joshua M. Ackerman, George Cybenko|arXiv (Cornell University)|Jun 2, 2020

Natural Language Processing Techniques参考文献 19被引用 5

一句话总结

本综述研究了现代神经网络架构（如CNN、RNN、Transformer和记忆增强神经网络，MANN）在受限精度和线性计算时间等现实约束下，识别与生成形式语言的理论与实证能力。研究发现，尽管标准架构（如Transformer）具有较高的状态复杂度但其渐近表达能力有限，而具备可微分记忆的MANN（如神经栈）在上下文无关语言和上下文有关语言（如D₁–D₆）上实现了接近完美的准确率，表明其在形式语言识别能力方面具有显著优势。

ABSTRACT

This report is a survey of the relationships between various state-of-the-art neural network architectures and formal languages as, for example, structured by the Chomsky Language Hierarchy. Of particular interest are the abilities of a neural architecture to represent, recognize and generate words from a specific language by learning from samples of the language.

研究动机与目标

• 理解最先进的神经网络架构在受限精度和线性时间复杂度等实际约束下的形式语言识别能力。
• 评估CNN、RNN、Transformer和记忆增强神经网络（MANN）等模型在学习和表示乔姆斯基层次语言方面的表现。
• 通过理论分析与实证评估，比较不同架构在识别上下文无关和上下文有关语言方面的表达能力。
• 研究神经网络在未知语法下的生成能力，特别是在SafeDocs项目关注小规模正样本语言生成的背景下。

提出的方法

• 本研究采用输入有界、有限精度神经网络（IBFP-NN）框架，对在受限精度和线性时间复杂度下运行的网络进行建模。
• 采用神经序列接受器的概念，定义为将输入序列（编码为独热向量）映射到语言成员概率的参数化函数。
• 理论分析聚焦于渐近接受，即允许网络参数任意增大，以评估表达能力的上限。
• 实证评估采用神经栈和Baby-NTM等架构，通过实现可微分栈和磁带操作，增强记忆访问与语言建模能力。
• 本文借鉴先前工作，对比不同架构在基准形式语言（如D₁–D₆）上的表现，这些语言是计数器语言和上下文无关语言的变体。
• 通过比较标准RNN与具备外部记忆结构的MANN在语言识别任务上的表现，分析记忆增强的影响。

实验结果

研究问题

• RQ1 在现实计算约束下，标准神经网络架构（如CNN、RNN和Transformer）能否识别乔姆斯基层次中的语言？
• RQ2 添加可微分记忆（如神经栈）如何影响神经网络的形式语言识别能力？
• RQ3 在受限精度和线性时间下，MANN（如神经图灵机或Baby-NTM）在识别上下文有关语言（如D₆）方面能达到何种程度？
• RQ4 为何某些具有更复杂记忆机制的MANN（如Baby-NTM）在性能上反而不如更简单的架构（如神经栈），尽管其理论灵活性更高？
• RQ5 渐近分析对实际神经网络在形式语言任务上的表现有何启示，特别是在噪声或真实世界数据设置下？

主要发现

• 神经栈在学习D₁、D₂、D₃和D₆语言时达到99%–100%的准确率，表现出在上下文无关语言和复杂计数器语言上的强大性能。
• 理论分析表明，带有前馈控制器的神经栈具有2^Θ(n)量级的状态复杂度，表明其具备指数级表达能力。
• 尽管理论灵活性更高，Baby-NTM模型在相同语言识别任务上的表现略逊于神经栈，凸显了复杂性带来的实际权衡。
• 标准架构（如Transformer）虽具有高状态复杂度但渐近表达能力有限，表明其成功可能源于架构归纳偏置，而非形式语言处理能力。
• 本研究证实，尽管渐近分析在理论上偏悲观，但其与噪声数据集上的实证行为高度一致，支持其作为实际基准的适用性。
• 具备记忆增强的网络（如神经栈）在识别形式语言方面显著优于标准RNN和Transformer，尤其在需要无界深度记忆的语言任务中。