[论文解读] Language Design and Renormalization

Ángel J. Gallego, Román Orús|arXiv (Cornell University)|Aug 4, 2017

Quantum Computing Algorithms and Architecture被引用 1

一句话总结

本文建立了生成语法理论中语言学MERGE操作与通过重整化实现的信息粗粒化的物理过程之间的形式等价性，表明基于随机张量网络（如树张量网络和矩阵乘积态）的语言模型体现了这一过程。该方法解释了语言中的长程相关性，并实现了具有有界困惑度的高效量子可计算模型。

ABSTRACT

Here we consider some well-known facts in syntax from a physics perspective, allowing us to establish equivalences between both fields with many consequences. Mainly, we observe that the operation MERGE, put forward by N. Chomsky in 1995, can be interpreted as a physical information coarse-graining. Thus, MERGE in linguistics entails information renormalization in physics, according to different time scales. We make this point mathematically formal in terms of language models. In this setting, MERGE amounts to a probability tensor implementing a coarse-graining, akin to a probabilistic context-free grammar. The probability vectors of meaningful sentences are given by stochastic tensor networks (TN) built from diagonal tensors and which are mostly loop-free, such as Tree Tensor Networks and Matrix Product States, thus being computationally very efficient to manipulate. We show that this implies the polynomially-decaying (long-range) correlations experimentally observed in language, and also provides arguments in favour of certain types of neural networks for language processing. Moreover, we show how to obtain such language models from quantum states that can be efficiently prepared on a quantum computer, and use this to find bounds on the perplexity of the probability distribution of words in a sentence. Implications of our results are discussed across several ambits.

研究动机与目标

• 建立语言学中的句法操作与物理学中重整化之间的形式联系。
• 证明乔姆斯基最小主义程序中的MERGE对应于信息论中的概率粗粒化。
• 表明基于无环随机张量网络的语言模型自然产生自然语言中观察到的长程相关性。
• 从张量网络结构出发，推导出具有有界困惑度的高效、量子可计算的语言概率分布表示。

提出的方法

• 将MERGE解释为使用概率张量的概率粗粒化操作。
• 将有意义的句子建模为由对角张量构成的随机张量网络，特别是树张量网络和矩阵乘积态。
• 将语言模型形式化为分层的、无环的张量网络，以确保计算效率。
• 利用量子态制备技术，在量子计算机上高效实现所提出的语言模型。
• 通过分析张量网络结构及其底层量子态表示，推导出困惑度的上界。
• 建立句法推导与统计物理中重整化群流之间的数学等价性。

实验结果

研究问题

• RQ1 语言学操作MERGE如何被形式化地映射到信息粗粒化的物理过程？
• RQ2 在语言模型中应用MERGE后，自然涌现出何种张量网络结构？
• RQ3 为何自然语言表现出多项式衰减的相关性？这一现象能否从粗粒化机制中推导出来？
• RQ4 基于MERGE的语言模型能否在量子计算机上高效制备？这对模型复杂度有何影响？
• RQ5 该框架对句子中词概率分布的困惑度施加了何种约束？

主要发现

• 语言学中的MERGE操作在数学上等价于物理学中的信息粗粒化，建立了句法与重整化之间深刻的正式联系。
• 基于无环随机张量网络（如树张量网络和矩阵乘积态）的语言模型自然产生与自然语言实证观察一致的长程、多项式衰减相关性。
• 该框架为某些神经网络架构在语言建模中的有效性提供了理论基础，特别是具有分层或递归归纳偏置的架构。
• 该模型中句子的概率分布可被高效地制备为量子态，从而在语言建模中实现潜在的量子优势。
• 通过张量网络结构推导出词概率分布困惑度的上界，为模型复杂度提供了定量约束。