[论文解读] Learning Type-Driven Tensor-Based Meaning Representations

Tamara Polajnar, Luana Fagarasan+1 more|arXiv (Cornell University)|Dec 20, 2013

Topic Modeling参考文献 24被引用 5

一句话总结

本文提出了一种方法，在类型驱动的、基于张量的组合分布语言框架中，学习表示及物动词语义的三阶张量。在二维合乎情理的句子空间上使用标准神经网络技术，结果表明基于张量的表示方法在选择性偏好分类任务中优于一个具有竞争力的基于语料库的基线方法，展示了在学习自然语言中复杂语义交互方面的良好前景。

ABSTRACT

This paper investigates the learning of 3rd-order tensors representing the semantics of transitive verbs. The meaning representations are part of a type-driven tensor-based semantic framework, from the newly emerging field of compositional distributional semantics. Standard techniques from the neural networks literature are used to learn the tensors, which are tested on a selectional preference-style task with a simple 2-dimensional sentence space. Promising results are obtained against a competitive corpus-based baseline. We argue that extending this work beyond transitive verbs, and to higher-dimensional sentence spaces, is an interesting and challenging problem for the machine learning community to consider.

研究动机与目标

• 研究在类型驱动的、基于张量的语义框架中，学习三阶张量表示及物动词的可行性。
• 检验标准神经网络技术是否能有效从语料数据中学习高阶张量表示。
• 在选择性偏好风格的任务上，评估基于张量的表示方法与一个具有竞争力的基于语料库的基线方法的性能。
• 向机器学习社区介绍基于张量的语义框架，并突出其在建模复杂语言交互方面的潜力。

提出的方法

• 该框架使用范畴语法中的句法类型（例如，(S\NP)/NP 表示及物动词）来定义张量阶数，将语法类型映射为多重线性映射。
• 及物动词被表示为三阶张量，其语义通过在专用名词空间中的名词向量和在二维合乎情理空间中的句子向量之间的张量收缩来组合。
• 使用从张量收缩中派生的句子级表示，训练一个逻辑回归分类器，以预测三元组（主语-动词-宾语）的合乎情理性。
• 学习过程采用神经网络中的标准反向传播和优化技术，利用标注的训练数据更新张量参数。
• 通过在完整数据和小样本数据设置下的交叉验证对模型进行评估，使用 AUC 和 F1 分数作为指标。
• 采用仅使用正样本且基于 SVD 的名词向量的基线方法进行对比，突出端到端张量学习的优势。

实验结果

研究问题

• RQ1 是否可以在组合分布语言框架中，使用标准神经网络技术，从语料数据中有效学习三阶张量？
• RQ2 在预测句子合乎情理性方面，基于张量的表示学习方法与具有竞争力的基于语料库的基线方法相比表现如何？
• RQ3 动词频率、具体性以及选择性偏好强度对所学张量表示质量有何影响？
• RQ4 在学习动词语义时，该模型在低频或罕见名词上的泛化能力如何？
• RQ5 该框架能否扩展到更高维的句子空间以及更复杂的句法类型，以适用于大规模覆盖的语法？

主要发现

• 在完整数据和小样本数据设置下，张量学习方法的 AUC 分数显著高于基线方法，尤其在小样本数据集上提升最为明显（例如，在小样本数据上，'eat' 的 AUC 分数从 73.96% ± 3.47 提升至 90.14% ± 3.02）。
• 该方法在使用低维名词向量时表现出更低的方差和更好的泛化能力，优于基线方法。
• 基线方法在未见的名词-动词对上表现出极高的假阴性率，表明其在潜在语义维度上的泛化能力较差。
• 动词频率与 AUC 表现呈强正相关（在完整数据中相关系数为 0.53），表明更频繁的动词能获得更优的表示。
• 具体性低且频率低的动词（如 'idealize'）最难学习，其 AUC 值较低且错误率较高。
• 学习曲线分析显示，高频且具体性高的动词（如 'eat'）比具体性较低的动词收敛更快，性能也更优。