[论文解读] Incremental Monoidal Grammars

Dan Shiebler, Alexis Toumi+1 more|arXiv (Cornell University)|Jan 2, 2020

Natural Language Processing Techniques参考文献 22被引用 4

一句话总结

本文引入了增量幺半群语法作为范畴论框架，通过函子将形式文法映射到加权自动机，实现增量解析与概率语言建模。该框架将DisCoCat语义扩展至基于幺半环的加权文法，并提出一种学习算法，通过log-概率的线性近似，从概率语言模型中推断$\mathbb{R}_{\geq 0}$-幺半群语法。

ABSTRACT

In this work we define formal grammars in terms of free monoidal categories, along with a functor from the category of formal grammars to the category of automata. Generalising from the Booleans to arbitrary semirings, we extend our construction to weighted formal grammars and weighted automata. This allows us to link the categorical viewpoint on natural language to the standard machine learning notion of probabilistic language model.

研究动机与目标

• 弥合范畴组合分布模型（DisCoCat）与NLP中使用的概率语言模型之间的差距。
• 利用自由幺半群范畴形式化语法的增量解析，并定义从文法到自动机余代数的函子。
• 将形式文法推广至任意幺半环，支持加权与概率推理。
• 开发一种从概率语言模型中推断$\mathbb{R}_{\geq 0}$-幺半群语法的算法。
• 为将基于句法的范畴模型与语义向量空间及动态解析相结合奠定基础。

提出的方法

• 将幺半群语法定义为带有生成箭头与关系的预序幺半群，推广上下文无关文法与预群文法。
• 为任意幺半环$\mathbb{S}$构造函子$\mathcal{I}$，从$\mathbb{S}$-幺半群文法映射至加权自动机函子$\mathcal{W}(X) = \mathbb{S} \times (\mathbb{S}^X)^V$的余代数。
• 引入最大解析状态的概念，并将最大解析状态似然$pr_M(p)$定义为所有以$p$为最大状态的解析路径的概率之和。
• 将学习目标表述为最小化$\log(pr_M(p))$与$B_p$中生成箭头的$\log(r(g))$加权和之间的$L^2$-范数。
• 通过log-概率的线性近似求解，当解析状态集有限或无限时，分别使用正规方程或随机梯度下降。
• 提出通过与现有向量空间语义函子复合，扩展框架以整合语义信息。

实验结果

研究问题

• RQ1 如何通过范畴结构系统地将形式文法映射至增量自动机？
• RQ2 能否为任意幺半环$\mathbb{S}$定义从$\mathbb{S}$-幺半群文法到加权自动机余代数的函子？
• RQ3 如何利用增量解析，通过概率语言模型学习幺半群文法中的权重？
• RQ4 最大解析状态在定义增量解析似然中的作用是什么？
• RQ5 如何将语义信息整合进增量幺半群文法的范畴框架中？

主要发现

• 本文构建了从$\mathbb{S}$-幺半群文法到加权自动机函子余代数的函子$\mathcal{I}$，支持增量解析。
• 最大解析状态似然$pr_M(p)$量化了部分解析状态$p$在完整句子中成为最大状态的概率。
• 对于$\mathbb{R}_{\geq 0}$-幺半群文法，学习目标被形式化为log-概率上的线性回归问题，可通过梯度下降求解。
• 当需要时，框架支持通过随机梯度下降从有限或无限解析状态集中进行学习。
• 该方法为连接DisCoCat风格句法与现代NLP中使用的概率语言模型提供了范畴论基础。
• 未来工作建议在语法与自动机范畴之间可能存在伴随关系，暗示更深层次的结构关联。