[论文解读] Investigating the Role of Prior Disambiguation in Deep-learning Compositional Models of Meaning

Jianpeng Cheng, Dimitri Kartsaklis+1 more|arXiv (Cornell University)|Nov 15, 2014

Topic Modeling参考文献 16被引用 8

一句话总结

本文研究了深度学习组合意义模型中的先验词义消歧问题，提出在组合之前用上下文选择的词义向量替代模糊的词向量。实验表明，这一预处理步骤在多个神经网络模型（RecNN、RAE）和数据集上均一致地提升了性能，相关性与准确率均有提高，尤其对多义词和同形词效果更显著。

ABSTRACT

This paper aims to explore the effect of prior disambiguation on neural network- based compositional models, with the hope that better semantic representations for text compounds can be produced. We disambiguate the input word vectors before they are fed into a compositional deep net. A series of evaluations shows the positive effect of prior disambiguation for such deep models.

研究动机与目标

• 评估先验词向量消歧是否能提升深度学习组合意义模型的性能。
• 解决现有模型在不同上下文或词义下均使用单一模糊词向量的局限性。
• 检验在组合前选择最符合上下文的词义向量是否能提升语义表征质量。
• 比较不同神经网络架构（RecNN、RAE）及具有不同歧义类型的多个数据集上消歧的有效性。
• 评估消歧是否可作为稳健的预处理步骤，在不降低性能的前提下提升或保持模型表现。

提出的方法

• 对上下文向量（相邻词的平均值）应用层次聚类，以发现每个目标词的潜在词义。
• 将每个发现的词义表示为聚类中心，为每个词生成一组词义向量。
• 对于上下文中的每个词，从其邻近词计算上下文向量，并使用余弦距离选择最接近的词义向量。
• 将所选的词义向量输入递归神经网络（RecNN）和递归自编码器（RAE）进行组合意义建模。
• 在组合函数中使用非线性激活函数 f，以及可学习的权重 W 和偏置 b：v̄ = f(W[ŵ₁:ŵ₂] + b)。
• 采用端到端方式训练模型，使用重构误差（RAE）或交叉熵（分类任务），并将消歧作为预处理步骤应用。

实验结果

研究问题

• RQ1 先验词向量消歧是否能提升深度学习组合意义模型的性能？
• RQ2 在具有不同歧义类型的多个数据集上，消歧对不同神经网络架构（RecNN、RAE）的影响如何？
• RQ3 消歧在不同评估指标（Spearman等级相关系数、交叉验证准确率）上是否具有一致的收益？
• RQ4 消歧是否可作为可靠的预处理步骤，在不降低非歧义输入性能的前提下提升整体表现？
• RQ5 与简单的代数基线模型（加法/乘法模型）相比，消歧在有效性方面表现如何？

主要发现

• 先验消歧在所有神经网络模型（RecNN、RAE）和数据集上均一致提升了性能，其中在 M&L 数据集上收益最为显著。
• 在 M&L 数据集上，RecNN 模型的交叉验证准确率从 60.17% 提升至 61.20%（消歧后），Spearman 等级相关系数从 0.297 提升至 0.311。
• 在 K&S 数据集上，消歧使 RecNN 的交叉验证准确率从 51.37% 提升至 52.64%，Spearman 等级相关系数从 0.085 提升至 0.098。
• 在 G&S 数据集上，消歧表现出微弱但积极的影响，RecNN 的准确率从 62.66% 提升至 63.53%，相关系数从 0.127 提升至 0.119。
• 在 G&S 数据集上，加法模型在 Spearman 等级相关系数上优于深度学习模型，表明在某些场景下简单基线模型仍具竞争力。
• 消歧从未导致性能下降，且作为稳定的预处理步骤，即使在词语非故意歧义时也能为模型带来收益。