[论文解读] Criticality in Formal Languages and Statistical Physics

Henry W. Lin, Max Tegmark|arXiv (Cornell University)|Jun 21, 2016

Fractal and DNA sequence analysis参考文献 31被引用 30

一句话总结

本文建立了统计物理中的临界性与形式语言中长程相关性之间的正式联系，表明在上下文无关文法中，符号之间的互信息随距离呈幂律衰减，而正则文法中则呈指数衰减。关键结果是理论推导出的有理互信息，该结果通过递归生成过程解释了自然语言、音乐和基因组序列中的幂律相关性。

ABSTRACT

We show that the mutual information between two symbols, as a function of the number of symbols between the two, decays exponentially in any probabilistic regular grammar, but can decay like a power law for a context-free grammar. This result about formal languages is closely related to a well-known result in classical statistical mechanics that there are no phase transitions in dimensions fewer than two. It is also related to the emergence of power-law correlations in turbulence and cosmological inflation through recursive generative processes. We elucidate these physics connections and comment on potential applications of our results to machine learning tasks like training artificial recurrent neural networks. Along the way, we introduce a useful quantity which we dub the rational mutual information and discuss generalizations of our claims involving more complicated Bayesian networks.

研究动机与目标

• 研究形式语言的统计相关性结构，并将其与统计物理中的临界现象相联系。
• 解释为何自然语言序列表现出长程幂律相关性而非马尔可夫模型所预期的指数衰减，从而质疑马尔可夫模型的充分性。
• 引入并分析“有理互信息”这一新概念，作为量化序列中长程依赖性的度量方法。
• 证明上下文无关文法自然产生互信息的幂律衰减，而正则文法则产生指数衰减。
• 将这些发现与更广泛的现象（如湍流、宇宙暴胀）以及循环神经网络中的机器学习应用相联系。

提出的方法

• 利用对递归文法生成深度 $ \theta $ 的分层先验，通过贝叶斯推断推导出在符号分离 $ d $ 条件下的期望有理互信息 $ I_R $。
• 将给定深度 $ \theta $ 时的符号分离 $ d $ 的分布建模为均值为 $ 2^{\theta-1} $ 的三角分布，以反映上下文无关文法中的二叉分支结构。
• 采用先验 $ p(\theta) \propto 2^\theta $（$ \theta \neq 0 $），并通过截断值 $ \theta_{\text{max}} $ 进行归一化，随后令其趋于无穷大。
• 对大 $ d $ 情况使用积分近似计算条件期望 $ \bb{E}[2^{-k_2 \theta} \big| d] $，得到幂律衰减 $ I_R \backsim d^{-k_2} $。
• 给出 $ I_R $ 的精确离散求和表达式，该表达式考虑了有限字符串长度，与数值模拟完全匹配。
• 采用 Grassberger 的熵估计器结合 digamma 函数，从经验数据中计算互信息，以最小化有限样本中的偏差。

实验结果

研究问题

• RQ1 为何自然语言序列中远距离符号之间的互信息呈现幂律衰减，而非马尔可夫模型所预期的指数衰减？
• RQ2 上下文无关文法的递归结构与统计物理中临界现象之间存在何种正式联系？
• RQ3 在概率正则文法与上下文无关文法中，两个符号之间的互信息如何随其分离距离而衰减？
• RQ4 ‘有理互信息’这一概念能否用于定量区分序列生成中的马尔可夫过程与非马尔可夫过程？
• RQ5 这些发现对自然语言建模及循环神经网络在机器学习中的训练有何启示？

主要发现

• 在概率正则文法中，两个符号之间的互信息随分离距离呈指数衰减，与马尔可夫过程一致。
• 在上下文无关文法中，互信息按幂律 $ I_R \backsim d^{-k_2} $ 衰减，其中 $ k_2 $ 是与文法分支因子和转移概率相关的参数。
• 当使用离散求和时，有理互信息 $ I_R $ 的推导解析表达式与数值模拟完全匹配，仅因有限字符串长度导致微小偏差。
• 幂律衰减源于上下文无关文法的分层递归结构，类似于二维统计系统（如伊辛模型）中的临界现象。
• 有理互信息估计器 $ I_R(X,Y) = \rho(X,Y)^2 / (P(0)P(1))^2 $ 为二进制序列中的长程依赖性提供了一种稳健且偏差校正的度量方法。
• 结果表明，若人工循环神经网络隐含假设了马尔可夫结构，则可能无法捕捉自然语言中的长程依赖性。