[论文解读] SeVeN: Augmenting Word Embeddings with Unsupervised Relation Vectors

Luis Espinosa-Anke, Steven Schockaert|ORCA Online Research @Cardiff (Cardiff University)|Aug 18, 2018

Topic Modeling参考文献 35被引用 5

一句话总结

SeVeN 提出了一种混合框架，通过使用自编码器从词向量平均中学习的无监督关系向量，对预训练词嵌入进行增强，以分离关系知识。该方法通过捕捉超越标准词嵌入的抽象关系模式，在词相似度和文本分类任务中提升了性能，其中20维关系向量在各项基准测试中表现最佳。

ABSTRACT

We present SeVeN (Semantic Vector Networks), a hybrid resource that encodes relationships between words in the form of a graph. Different from traditional semantic networks, these relations are represented as vectors in a continuous vector space. We propose a simple pipeline for learning such relation vectors, which is based on word vector averaging in combination with an ad hoc autoencoder. We show that by explicitly encoding relational information in a dedicated vector space we can capture aspects of word meaning that are complementary to what is captured by word embeddings. For example, by examining clusters of relation vectors, we observe that relational similarities can be identified at a more abstract level than with traditional word vector differences. Finally, we test the effectiveness of semantic vector networks in two tasks: measuring word similarity and neural text categorization. SeVeN is available at bitbucket.org/luisespinosa/seven.

研究动机与目标

• 解决词嵌入在捕捉语义相似性之外的关系知识方面的局限性。
• 开发一种连续的、基于向量的关系表示方法，其表达能力优于语义网络中的离散标签。
• 从基于语料的共现模式中分离出关系知识，去除属性和上下文噪声。
• 评估关系向量在下游自然语言处理任务（如词相似度和文本分类）中的实用性。
• 探究关系向量是否能捕捉在词向量差异中不明显的抽象关系相似性。

提出的方法

• 通过配对中两个词均出现在同一句中的句子，对词向量进行平均，构建初始关系向量，形成高维向量。
• 应用一种定制的自编码器，从关系向量与词 a 和 b 的个体词向量的组合中进行解码，目标是重建原始上下文。
• 将自编码器学习到的潜在表示作为净化后的关系向量，过滤掉非关系属性。
• 通过连接词向量与基于PMI得分的top-neighbor关系向量，将关系向量整合到词表示中。
• 在标准神经网络架构中使用增强后的向量表示进行文本分类，模型架构未作任何修改。
• 端到端训练自编码器，以最小化重建误差，专注于保留关系信息，同时丢弃与词相关的特征和噪声。

实验结果

研究问题

• RQ1 无监督关系向量能否捕捉与标准词嵌入互补的关系知识？
• RQ2 从文本中共现模式中提取的关系向量是否能反映超越单个词属性的抽象关系相似性？
• RQ3 关系向量能否提升下游自然语言处理任务（如词相似度和文本分类）的性能？
• RQ4 关系向量的维度如何影响这些任务中的性能表现？
• RQ5 与向量平移方法相比，关系向量是否能更有效地建模对称或复杂的多对多关系？

主要发现

• 在所有文本分类基准测试中，20维关系向量（20rv）表现最佳，其性能在所有情况下均优于或匹配基线模型。
• 在20news数据集中，SeVeN使用20rv的F1得分为0.89，而基线为0.86，表现出一致的性能提升。
• 在reuters-r56数据集中，20rv配置的F1得分为0.90，相比基线的0.86，显示出在大规模分类任务中的显著增益。
• 在pol.05数据集中，20rv配置的改进最为显著，F1得分为0.59，而基线为0.54。
• 关系向量能够更好地捕捉抽象层面的关系相似性，而差值向量主要反映词属性的相似性。
• 自编码器通过去除非关系性和与词相关的成分，有效净化了关系向量，其效果体现在聚类性能和下游任务性能的提升上。