[论文解读] Language as a matrix product state

Vasily Pestun, John Terilla+1 more|arXiv (Cornell University)|Nov 4, 2017

semigroups and automata theory参考文献 3被引用 9

一句话总结

本文提出一种基于张量积态（MPS）的轨迹密度模型，用于自然语言建模，以捕捉文本中的长程相关性，其灵感源自量子统计物理。通过利用左、右密度算符施加平移不变性与等距约束，该模型实现了词序列概率的高效计算，并展示了一套能够建模幂律衰减相关性的框架——为高阶语言统计提供了一种有前景的循环神经网络替代方案。

ABSTRACT

We propose a statistical model for natural language that begins by considering language as a monoid, then representing it in complex matrices with a compatible translation invariant probability measure. We interpret the probability measure as arising via the Born rule from a translation invariant matrix product state.

研究动机与目标

• 为解决n-gram和基于RNN的模型在捕捉自然语言中长程、幂律衰减相关性方面的局限性。
• 开发一种基于量子多体物理的统计语言模型，利用张量积态（MPS）高效表示高维语言数据。
• 提出一种轨迹密度模型，通过左、右密度约束强制实现平移不变性与概率守恒。
• 提供一个基于张量网络与量子启发概率测度的数学严谨、表示理论框架。
• 在物理约束下通过最大对数似然优化实现训练，确保序列上概率分布的合理性。

提出的方法

• 将语言表示为词序列的幺半群，将词汇元素映射为张量网络框架中的矩阵。
• 采用在词的一维格点上作用的平移不变张量 $M_i$ 的张量积态（MPS）。
• 施加左、右密度约束：$\sum_i M_i^* M_i = P_L$ 与 $\hat{M}(P_R) = P_R$，以确保迹归一化与概率守恒。
• 利用玻恩规则将轨迹密度解释为概率测度：$\text{Tr}(P_L \hat{M}^k(\rho))$ 给出长度为 $k$ 的短语的概率。
• 应用密度矩阵重整化与最大熵/能量最小化技术训练MPS参数。
• 通过酉群作用与矩映射结构构建模型，将表示理论与语言建模相联系。

实验结果

研究问题

• RQ1 基于量子启发的张量网络模型能否捕捉经典模型（如n-gram或RNN）无法表示的语言中长程相关性？
• RQ2 如何对平移不变的张量积态施加约束，以在词序列上获得一致的概率测度？
• RQ3 在量子统计框架下，语言相关性中幂律衰减现象背后的数学结构是什么？
• RQ4 在物理约束下，能否通过最大对数似然优化有效训练轨迹密度模型？
• RQ5 左、右密度算符在确保概率测度在不同序列长度下保持归一化与一致性方面起什么作用？

主要发现

• 通过显式构造 $P_L = I$，$P_R = \frac{1}{n}I$，$M_i = \frac{1}{\sqrt{n}}I$，证明了满足左、右密度约束的轨迹密度模型确实存在。
• 左密度约束确保张量网络的等距性，使其在酉群作用下形成齐性空间 $\mathrm{Gr}_d(\mathbb{C}^{nd})$。
• 对于任意满足左密度约束的张量 $M$，总存在一个右密度 $P_R$，使得 $\hat{M}(P_R) = P_R$，从而保证了一致概率测度的存在性。
• 算符 $\hat{M}(A) = \sum_i M_i A M_i^*$ 保持超平面 $\operatorname{tr}(P_L A) = 1$，使得可应用布劳威尔不动点定理证明 $P_R$ 的存在性。
• 该模型确保所有固定长度短语的总迹密度为一，因此最大化真实短语的似然性可最小化无意义短语的密度。
• 该框架支持通过最大对数似然实现高效训练，并允许使用如密度矩阵重整化群（DMRG）等重整化技术。