[论文解读] Cats climb entails mammals move: preserving hyponymy in compositional distributional semantics.

Gemma De las Cuevas, Andreas Klingler+2 more|arXiv (Cornell University)|May 28, 2020

Natural Language Processing Techniques参考文献 27被引用 6

一句话总结

本文提出了一种新颖的组合规则——压缩（Compr），该规则将词语的正半定（psd）矩阵提升为完全正（CP）映射，保留了组合分布语义中的上下位关系。通过使用蜘蛛、杯和盖等范畴构造，Compr 确保了线性且非交换的组合方式，在句子蕴含数据集上的表现优于 Fuzz 和 Phaser。

ABSTRACT

To give vector-based representations of meaning more structure, one approach is to use positive semidefinite (psd) matrices. These allow us to model similarity of words as well as the hyponymy or is-a relationship. Psd matrices can be learnt relatively easily in a given vector space $M\otimes M^*$, but to compose words to form phrases and sentences, we need representations in larger spaces. In this paper, we introduce a generic way of composing the psd matrices corresponding to words. We propose that psd matrices for verbs, adjectives, and other functional words be lifted to completely positive (CP) maps that match their grammatical type. This lifting is carried out by our composition rule called Compression, Compr. In contrast to previous composition rules like Fuzz and Phaser (a.k.a. KMult and BMult), Compr preserves hyponymy. Mathematically, Compr is itself a CP map, and is therefore linear and generally non-commutative. We give a number of proposals for the structure of Compr, based on spiders, cups and caps, and generate a range of composition rules. We test these rules on a small sentence entailment dataset, and see some improvements over the performance of Fuzz and Phaser.

研究动机与目标

• 解决现有组合规则在组合分布语义中难以保留上下位关系（is-a 关系）的局限性。
• 开发一种方法，将词级别的 psd 矩阵提升为与语法类型匹配的高阶 CP 映射。
• 确保组合规则在数学上成立，具备线性与非交换性，同时保持语义结构。
• 测试所提出的组合规则是否在句子蕴含任务上相比先前方法表现更优。
• 提供一种通用的范畴论框架，通过蜘蛛、杯和盖实现 psd 矩阵的组合。

提出的方法

• 将词表示从空间 $M \otimes M^*$ 提升为完全正（CP）映射，以建模功能词和短语。
• 引入压缩（Compr）规则作为 CP 映射，以与语法类型兼容的方式组合 psd 矩阵。
• 采用范畴构造——蜘蛛、杯和盖——以生成 Compr 规则的多种变体。
• 确保组合过程的线性与非交换性，实现结构化的语义组合。
• 利用生成的 CP 映射以保留上下位蕴含关系的方式表示短语和句子。
• 在小型句子蕴含数据集上应用 Compr 规则以进行实证评估。

实验结果

研究问题

• RQ1 在组合分布语义中，当组合词表示时，是否存在一种组合规则能够保留上下位关系？
• RQ2 由 psd 矩阵导出的 CP 映射与 Fuzz 和 Phaser 等现有规则相比，在建模语义组合方面表现如何？
• RQ3 蜘蛛、杯和盖等范畴构造在在多大程度上实现了原理清晰且灵活的组合机制？
• RQ4 与基线方法相比，所提出的 Compr 规则是否在句子蕴含任务上提升了性能？
• RQ5 该组合规则是否可泛化至不同的语法类型和语言结构？

主要发现

• Compr 组合规则在组合分布语义中成功保留了上下位关系，而 Fuzz 和 Phaser 则未能做到。
• Compr 在数学上是严谨的完全正映射，确保了线性与非交换性。
• 使用蜘蛛、杯和盖等范畴结构可生成多种有效的组合规则。
• 实证评估表明，Compr 在小型句子蕴含数据集上的表现优于 Fuzz 和 Phaser。
• 所提出的方法提供了一个通用框架，可将 psd 矩阵提升为与语法类型一致的 CP 映射。
• 结果表明，CP 映射是标准组合规则在分布语义中的可行且更具结构化的替代方案。