[论文解读] Embedding Semantic Relations into Word Representations

Danushka Bollegala, Takanori Maehara+1 more|arXiv (Cornell University)|May 1, 2015

Topic Modeling参考文献 16被引用 15

一句话总结

本文提出一种无监督方法，通过利用共现上下文中的词汇模式，显式地编码词语之间的语义关系。通过使用自动采样的数据训练二分类器来建模关系相似的模式对，该方法在三个基准类比检测数据集上显著优于当时最先进的词向量表示方法，证明了其在捕捉语义关系方面的优越性。

ABSTRACT

Learning representations for semantic relations is important for various tasks such as analogy detection, relational search, and relation classification. Although there have been several proposals for learning representations for individual words, learning word representations that explicitly capture the semantic relations between words remains under developed. We propose an unsupervised method for learning vector representations for words such that the learnt representations are sensitive to the semantic relations that exist between two words. First, we extract lexical patterns from the co-occurrence contexts of two words in a corpus to represent the semantic relations that exist between those two words. Second, we represent a lexical pattern as the weighted sum of the representations of the words that co-occur with that lexical pattern. Third, we train a binary classifier to detect relationally similar vs. non-similar lexical pattern pairs. The proposed method is unsupervised in the sense that the lexical pattern pairs we use as train data are automatically sampled from a corpus, without requiring any manual intervention. Our proposed method statistically significantly outperforms the current state-of-the-art word representations on three benchmark datasets for proportional analogy detection, demonstrating its ability to accurately capture the semantic relations among words.

研究动机与目标

• 解决现有词表示方法在未能显式编码词语间语义关系方面的不足。
• 开发一种无监督方法，学习对词语对关系结构敏感的向量表示。
• 通过捕捉共现模式之外的关系语义，提升比例类比检测的性能。
• 通过将关系信息整合到分布式词向量中，实现更丰富的语义表示。

提出的方法

• 从大规模语料库中词语对的共现上下文中提取词汇模式，以表示潜在的语义关系。
• 将每个词汇模式表示为共现词语间向量差（x_i - x_j）的加权平均。
• 训练一个二分类器，使用自动采样的训练实例，以区分关系相似与不相似的词汇模式对。
• 通过联合优化过程交替更新词向量表示和模式表示，以最小化预测损失。
• 使用随机初始化或预训练表示初始化词向量，并通过梯度下降更新，以提高类比预测准确率。
• 根据数据集约束，使用 CosMult 和 PairDiff 指标评估类比检测任务的性能。

实验结果

研究问题

• RQ1 能否在共现统计之外，将词语间的语义关系显式嵌入分布式词向量表示中？
• RQ2 无监督方法能否在无需人工标注的情况下，有效学习词汇模式之间的关系相似性？
• RQ3 将关系结构整合到词向量中是否能提升比例类比检测任务的性能？
• RQ4 训练数据规模和向量维度对所提方法性能有何影响？

主要发现

• 所提方法在三个基准数据集（Google、SAT 和 SemEval）上均统计显著优于当时最先进方法 GloVe。
• 在 Google 数据集上，该方法在 CosMult 指标下达到最高准确率，且随着训练数据规模增大，性能持续提升，尤其在句法类比任务中表现更优。
• 在 SAT 和 SemEval 数据集上，该方法在 PairDiff 指标下取得最佳结果，该指标聚焦于向量差的方向相似性。
• 在 Google 和 SAT 数据集上，性能随向量维度增加而提升，直至约 600 维后趋于稳定。
• 该方法在五次迭代内即实现收敛，表明其具有高效的训练动态。
• 使用自动采样的正负训练样本，实现了无需人工标注的可扩展全无监督方法。