[论文解读] A Rank-Based Similarity Metric for Word Embeddings

Enrico Santus, Hongmin Wang+2 more|arXiv (Cornell University)|May 4, 2018

Topic Modeling参考文献 20被引用 10

一句话总结

本文提出 APSynP，一种针对密集词嵌入的基于秩的相似性度量，通过引入稳定的幂参数（p = 0.1），在异常值检测中表现优于向量余弦，在语义相似性估计方面与之相当或更优，尤其在真实语义相似性数据集（如 SimLex-999）上表现突出。

ABSTRACT

Word Embeddings have recently imposed themselves as a standard for representing word meaning in NLP. Semantic similarity between word pairs has become the most common evaluation benchmark for these representations, with vector cosine being typically used as the only similarity metric. In this paper, we report experiments with a rank-based metric for WE, which performs comparably to vector cosine in similarity estimation and outperforms it in the recently-introduced and challenging task of outlier detection, thus suggesting that rank-based measures can improve clustering quality.

研究动机与目标

• 为解决向量余弦在处理所有维度时忽略语义相关性的局限性。
• 将原本用于稀疏向量的基于秩的度量 APSyn 适配至密集词嵌入。
• 开发一种无监督、参数稳定的词嵌入相似性度量，以提升聚类质量。
• 在标准相似性基准和更具挑战性的异常值检测任务上评估新度量。

提出的方法

• 通过将特征重叠参数 N 替换为完整特征集大小 |f|，将基于秩的相似性度量 APSyn 适配至词嵌入。
• 引入幂参数 p 以加权排序维度的贡献，实证表明在多个任务中 p = 0.1 时具有稳定性。
• 采用平滑的基于秩的评分函数，优先考虑高排名维度在相似性计算中的作用。
• 使用成对比较和聚类原型两种方法进行异常值检测，后者效率更高。
• 将该度量应用于在不同语料库（Wikipedia、UMBC）上训练的 GloVe 和 Skip-gram 词嵌入。
• 采用 Fisher 的 r-to-z 变换和 χ² 检验验证性能提升的统计显著性。

实验结果

研究问题

• RQ1 基于秩的相似性度量是否能在评估词嵌入时优于向量余弦？
• RQ2 基于秩的度量 APSyn 是否可无须大量超参数调优地迁移至密集词嵌入？
• RQ3 与基线方法相比，所提出的 APSynP 度量是否在更具挑战性的异常值检测任务中表现更优？
• RQ4 APSynP 中的幂参数 p 在不同数据集和嵌入类型中是否稳定？
• RQ5 聚类原型方法是否能以更低的计算成本实现具有竞争力的异常值检测性能？

主要发现

• 在 MEN 数据集上，APSynP 的相似性估计优于向量余弦（p < 0.05），在所有数据集上相比 APSyn 的表现也更优（p < 0.01）。
• 使用 Skip-Gram 嵌入时，APSynP 在 WordSim 和 MEN 上与余弦相似度表现相当，在 SimLex-999 上略优。
• 在使用 Wikipedia 训练的 Skip-Gram 模型上，APSynP 在异常值检测任务中达到 73.4% 的准确率和 94.9% 的 OPP，为当前最先进水平。
• 该模型在各数据集上表现一致，且更偏好真实语义相似性，这一点在 SimLex-999 上表现更佳。
• 聚类原型方法在计算成本更低的情况下实现了具有竞争力的结果。
• 幂参数 p 在多个任务中经验上稳定在 0.1，使得该度量可实现无监督应用。