[论文解读] Formal Language Theory Meets Modern NLP

William Merrill|arXiv (Cornell University)|Feb 19, 2021

Natural Language Processing Techniques参考文献 53被引用 6

一句话总结

本文通过自动机理论和乔姆斯基层级的视角，将形式语言理论与现代自然语言处理（NLP）相结合，分析了神经网络架构（尤其是变换器）的特性。研究发现，饱和变换器能够识别正则语言和上下文无关语言，而受限注意力的变体则不能；同时提出了随机特征注意力作为标准自注意力的可扩展替代方案，并提供了理论保证。

ABSTRACT

NLP is deeply intertwined with the formal study of language, both conceptually and historically. Arguably, this connection goes all the way back to Chomsky's Syntactic Structures in 1957. It also still holds true today, with a strand of recent works building formal analysis of modern neural networks methods in terms of formal languages. In this document, I aim to explain background about formal languages as they relate to this recent work. I will by necessity ignore large parts of the rich history of this field, instead focusing on concepts connecting to modern deep learning-based NLP.

研究动机与目标

• 将经典形式语言理论与当代基于深度学习的NLP架构联系起来。
• 使用自动机理论框架，研究神经网络（如变换器）的表征能力。
• 分析注意力机制在识别复杂语言模式（如Dyck语言或奇偶性语言）方面的局限性。
• 提出自注意力的可扩展替代方案（如随机特征注意力），并提供理论依据。
• 利用形式语言理论指导未来在NLP模型可解释性、归纳偏置和鲁棒性方面的研究。

提出的方法

• 使用有限状态自动机和加权有限状态自动机（WFAs）建模正则语言和上下文敏感语言的识别。
• 应用汉克尔矩阵理论，分析从字符串样本中学习和识别WFAs的能力。
• 将饱和变换器建模为具有有界记忆的有限自动机，证明其能够识别上下文无关语言。
• 通过电路复杂性分析注意力机制，证明硬注意力变换器无法识别奇偶性语言或Dyck语言。
• 采用随机特征近似（Rahimi & Recht, 2008）推导出随机特征注意力（RFA），将注意力复杂度从O(MN)降低至O(M+N)。
• 通过位置编码的理论分析，证明其对于检测变换器中相对位置依赖关系的必要性。

实验结果

研究问题

• RQ1 变换器网络的形式语言能力如何，特别是在识别上下文无关语言和非上下文无关语言方面？
• RQ2 具有有界感受野的注意力机制如何限制模型能够学习的语言模式？
• RQ3 随机特征注意力能否在保持自注意力表征能力的同时，实现线性时间推理？
• RQ4 形式语言理论在多大程度上能帮助区分NLP模型中的稳健语言泛化与数据集中的伪影？
• RQ5 我们能否建立一个非平凡的语言模式复杂性理论，以涵盖有限长度字符串，而不仅限于乔姆斯基层级？

主要发现

• 由于其无界记忆和对称注意力模式，饱和变换器能够识别所有正则语言以及部分上下文无关语言（包括Dyck语言）。
• 通过电路复杂性论证，证明具有有界感受野的硬注意力变换器无法识别奇偶性语言或Dyck语言。
• 随机特征注意力（RFA）通过理论保证，其内积可近似为RBF核，从而实现O(M+N)的计算时间。
• 位置编码对于变换器检测相对位置依赖关系至关重要；若无位置编码，甚至简单的正则语言（如a*b）也无法被识别。
• 可通过汉克尔矩阵方法从字符串样本中学习加权有限状态自动机（WFAs），为学习潜在语言结构提供形式基础。
• 理论分析表明，标准变换器对某些语言类别具有强烈的归纳偏置，提示形式语言理论可为架构设计与可解释性提供指导。