[论文解读] Linguistic Matrix Theory

Dimitrios Kartsaklis, Sanjaye Ramgoolam+1 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Combinatorial Mathematics参考文献 35被引用 4

一句话总结

本文提出一种排列对称的高斯矩阵模型，用于表征从语言语料库中提取的分布词矩阵中的统计普遍性。通过将动词和形容词矩阵建模为具有 $S_D$ 对称性的扰动高斯系综，作者识别出相对于高斯基线的立方和四次偏差，作为比较语言数据的可测量特征，从而提出了一种将随机矩阵理论与组合分布语义学相联系的新框架。

ABSTRACT

Recent research in computational linguistics has developed algorithms which associate matrices with adjectives and verbs, based on the distribution of words in a corpus of text. These matrices are linear operators on a vector space of context words. They are used to construct the meaning of composite expressions from that of the elementary constituents, forming part of a compositional distributional approach to semantics. We propose a Matrix Theory approach to this data, based on permutation symmetry along with Gaussian weights and their perturbations. A simple Gaussian model is tested against word matrices created from a large corpus of text. We characterize the cubic and quartic departures from the model, which we propose, alongside the Gaussian parameters, as signatures for comparison of linguistic corpora. We propose that perturbed Gaussian models with permutation symmetry provide a promising framework for characterizing the nature of universality in the statistical properties of word matrices. The matrix theory framework developed here exploits the view of statistics as zero dimensional perturbative quantum field theory. It perceives language as a physical system realizing a universality class of matrix statistics characterized by permutation symmetry.

研究动机与目标

• 开发一种用于分析从大规模语料库中提取的分布词矩阵的统计框架。
• 通过随机矩阵理论识别动词和形容词矩阵中的普遍统计模式。
• 使用具有排列对称性（$S_D$）的扰动高斯系综对语言数据进行建模，作为语言普遍性的代理。
• 通过高阶矩（立方和四次）表征高斯性的偏离，作为语料库比较的可测量特征。
• 建立语言中矩阵统计与零维量子场论之间的联系，将语言视为处于某一普遍性类中的物理系统。

提出的方法

• 使用大规模文本语料库上的线性回归构建动词和形容词的词矩阵，将其映射到上下文词的向量空间。
• 应用排列对称性（$S_D$）以建模上下文词重命名下的不变性，为不变可观测量奠定基础。
• 开发一个包含均值、方差及高阶累积量的五参数高斯矩阵模型，以近似矩阵元素的经验分布。
• 利用对称张量分解和图论解释，推导出 $S_D$-不变可观测量在六阶以内的理论表达式。
• 使用矩阵积分和对称多项式计数（OEIS A052171）枚举不变量，并计算可观测量的期望值。
• 通过测量真实语言矩阵中相对于高斯性的立方和四次偏离，将理论模型与实证数据进行比较。

实验结果

研究问题

• RQ1 具有排列对称性的高斯矩阵模型能否准确描述分布语义学中词矩阵的统计分布？
• RQ2 语言词矩阵中相对于高斯性的关键高阶统计偏离（立方和四次）是什么？它们在不同语料库中如何变化？
• RQ3 五参数高斯模型的参数与动词和形容词矩阵的经验矩之间存在何种相关性？
• RQ4 从模型中导出的 $S_D$-不变可观测量在多大程度上与真实语言数据计算出的经验矩相匹配？
• RQ5 该扰动高斯模型能否作为比较不同语言语料库的通用统计基准？

主要发现

• 五参数高斯模型成功捕捉了从大规模语料库中提取的动词和形容词矩阵的主要统计特征，在低阶矩上具有高保真度。
• 在实证数据中一致观察到相对于高斯基线的立方和四次偏离，表明其在均值和方差之外存在非高斯结构。
• $S_D$-不变矩阵多项式在阶数 $k$ 时的数量与 OEIS 序列 A052171 完全匹配，证实了对称张量不变量的图论解释。
• 实证矩阵元素在对角线与非对角线元素之间表现出显著的不对称性，这证明了无需连续对称性的模型的必要性。
• 模型对 $S_D$-不变可观测量的理论预测与实证数据高度一致，验证了该框架的一致性。
• 该框架建立了语言数据与零维量子场论之间的直接联系，将语言定位为处于矩阵统计普遍性类中的系统。