[论文解读] Distributional Inclusion Hypothesis for Tensor-based Composition

Dimitri Kartsaklis, Mehrnoosh Sadrzadeh|arXiv (Cornell University)|Oct 14, 2016

Topic Modeling参考文献 25被引用 9

一句话总结

本文提出了一种基于张量的组合分布语义框架，通过使用多种张量组合模型，将分布包含假说（DIH）扩展至短语和句子层面。结果表明，当结合句子级度量（如SAPinc和SBalAPinc）时，交集型张量模型——尤其是Frobenius和关系方法——在蕴含预测任务中表现最佳，优于向量运算和密集联合型模型。

ABSTRACT

According to the distributional inclusion hypothesis, entailment between words can be measured via the feature inclusions of their distributional vectors. In recent work, we showed how this hypothesis can be extended from words to phrases and sentences in the setting of compositional distributional semantics. This paper focuses on inclusion properties of tensors; its main contribution is a theoretical and experimental analysis of how feature inclusion works in different concrete models of verb tensors. We present results for relational, Frobenius, projective, and holistic methods and compare them to the simple vector addition, multiplication, min, and max models. The degrees of entailment thus obtained are evaluated via a variety of existing word-based measures, such as Weed's and Clarke's, KL-divergence, APinc, balAPinc, and two of our previously proposed metrics at the phrase/sentence level. We perform experiments on three entailment datasets, investigating which version of tensor-based composition achieves the highest performance when combined with the sentence-level measures.

研究动机与目标

• 将分布包含假说（DIH）从词级蕴含扩展至使用张量模型的短语和句子级组合。
• 研究不同张量组合方法如何影响组合分布语义中的特征包含与蕴含预测。
• 在短语/句子层面，评估多种张量模型（关系型、Frobenius、投影型和整体型）相对于既有的词级蕴含度量的性能表现。
• 确定哪种组合算子与蕴含度量组合能实现对向上单调蕴含关系的最高预测准确率。
• 评估张量模型在数据稀疏性条件下的鲁棒性，相较于非组合基线模型与向量运算。

提出的方法

• 采用基于张量的组合模型，其中动词以高阶张量表示（例如，及物动词为三阶张量），通过张量收缩与名词向量结合。
• 应用四种具体的张量模型：关系型（Grefenstette & Sadrzadeh）、Frobenius型（Kartsaklis et al.）、投影型（Kartsaklis & Sadrzadeh）以及整体线性回归型（Baroni & Zamparelli）。
• 将动词的分布向量整合到张量结构中，以增强表征能力并减少稀疏性。
• 使用句子级蕴含度量（如SAPinc、SBalAPinc和WeedsPrec）评估短语/句子向量之间的蕴含程度。
• 应用标准的词级度量（KL散度、APinc、balAPinc）以比较不同模型与任务下的性能表现。
• 采用三任务评估设置：主语-动词、动词-宾语和主语-动词-宾语蕴含任务，使用三个现有的蕴含数据集。

实验结果

研究问题

• RQ1 哪种基于张量的组合模型在DIH框架下最能保持短语和句子向量的特征包含特性？
• RQ2 交集型（如乘法、MIN）与联合型（如加法、MAX）组合算子如何影响蕴含预测性能？
• RQ3 哪种句子级蕴含度量（如SAPinc、SBalAPinc）在不同张量模型上能获得最高的AUC？
• RQ4 将动词的分布向量整合到张量模型中，相较于非组合基线模型，能在多大程度上提升蕴含预测性能？
• RQ5 Frobenius与关系型张量模型在捕捉蕴含关系方面，相较于其他张量与向量基模型，其优势程度如何？

主要发现

• Frobenius张量模型与SAPinc度量结合，在主语-动词-宾语任务中实现了0.84的最高AUC，优于所有其他模型与度量。
• 投影型张量模型在同一任务中获得了0.83的AUC，整体排名第二，表明该类模型具有强大性能。
• 交集型组合模型（如乘法、MIN、关系型、Frobenius）始终优于联合型模型（如加法、MAX、投影型），原因在于更低的向量密度与更优的特征包含保真度。
• 非组合的仅动词基线模型的表现劣于所有组合模型，除最小二乘模型外，后者未能泛化，凸显了张量组合的鲁棒性。
• SAPinc与SBalAPinc度量在跨模型表现中最佳，三类任务的AUC均稳定高于0.75，优于词级度量如APinc与balAPinc。
• Frobenius模型结合乘法运算（⊗_FrMul）在主语-动词-宾语任务中实现了0.83的AUC，表明具有交集特性的张量级运算能有效提升蕴含检测能力。