[论文解读] Towards a Formal Distributional Semantics: Simulating Logical Calculi with Tensors

Edward Grefenstette|arXiv (Cornell University)|Apr 22, 2013

Topic Modeling参考文献 26被引用 58

一句话总结

本文提出了一种基于张量的框架，用于在组合分布语义学中模拟谓词逻辑的关键要素，使用多重线性代数表示逻辑连接词、谓词和量词。它表明张量收缩可以评估逻辑表达式，并展示了非线性运算如何实现对量词的建模，从而在分布语义学与形式逻辑之间建立桥梁。

ABSTRACT

The development of compositional distributional models of semantics reconciling the empirical aspects of distributional semantics with the compositional aspects of formal semantics is a popular topic in the contemporary literature. This paper seeks to bring this reconciliation one step further by showing how the mathematical constructs commonly used in compositional distributional models, such as tensors and matrices, can be used to simulate different aspects of predicate logic. This paper discusses how the canonical isomorphism between tensors and multilinear maps can be exploited to simulate a full-blown quantifier-free predicate calculus using tensors. It provides tensor interpretations of the set of logical connectives required to model propositional calculi. It suggests a variant of these tensor calculi capable of modelling quantifiers, using few non-linear operations. It finally discusses the relation between these variants, and how this relation should constitute the subject of future work.

研究动机与目标

• 通过在张量模型中嵌入逻辑运算，弥合组合分布语义学与形式逻辑之间的鸿沟。
• 解决当前组合分布语义模型中的缺陷，即尽管融合了分布语义的词义，却缺乏形式逻辑的推理能力。
• 证明张量能够通过多重线性映射模拟真值函数连接词和不含量词的谓词演算。
• 提出一种能够通过非线性运算建模量词的张量演算变体，克服纯多重线性框架的局限性。
• 建立使用张量代数将逻辑推理整合到分布语义模型中的理论基础。

提出的方法

• 利用张量与多重线性映射之间的典范同构，将逻辑原子、谓词和关系表示为张量。
• 采用张量收缩作为逻辑表达式的评估机制，支持语义表示的组合。
• 将逻辑连接词（例如合取、析取、否定）定义为特定的张量运算，以保持真值函数行为。
• 引入一种非线性张量演算变体，使用如“存在”等运算来建模存在量词，这些无法仅通过多重线性映射表达。
• 建立谓词两种张量表示形式之间的正式关系：一种作为真值函数，另一种作为集合到集合的映射，证明二者可通过对角化相互转换。
• 提出一种组合式工作流程，通过张量收缩对关系进行部分应用，实现在原子与量化逻辑形式之间的转换。

实验结果

研究问题

• RQ1 张量能否在无量词谓词演算中模拟全部逻辑运算？
• RQ2 在主要依赖多重线性映射的张量形式体系中，量词应如何建模？
• RQ3 不同谓词张量表示形式（真值函数与集合映射）之间的数学关系是什么？
• RQ4 张量形式的逻辑运算如何整合到现有的组合分布语义模型中？
• RQ5 分布语义向量表示在多大程度上可被解释为近似逻辑论域和同 extension 性？

主要发现

• 张量能够以支持通过张量收缩进行组合的方式表示逻辑原子、谓词和关系，从而实现对逻辑表达式的评估。
• 合取、析取和否定等逻辑连接词可编码为特定张量，在张量框架内形成完整的命题演算。
• “存在”算子无法表示为多重线性映射，这表明纯多重线性张量模型在处理量词方面存在根本性局限。
• 非线性张量演算变体允许对量词进行建模，“存在”运算被证明是非多重线性的，因此需要非线性组件。
• 谓词的两种张量表示形式——作为真值函数和作为集合映射——在数学上是等价的，可通过对角化实现转换：$\mathrm{diag}(\mathbf{p} \mathbf{M}^P) = \mathbf{M}'^P$，从而实现表示间的转换。
• 该框架能够通过组合部分应用与表示转换，实现对复杂逻辑形式如“存在某人约翰爱他”进行组合式评估。