[论文解读] Learning Semantic Relatedness From Human Feedback Using Metric Learning

Thomas Niebler, Martin Becker+2 more|arXiv (Cornell University)|May 21, 2017

Topic Modeling参考文献 17被引用 4

一句话总结

该论文提出了一种度量学习方法，通过将人类反馈整合到预训练词嵌入中，显著提升了与人类直觉一致的语义相关性度量。通过使用来自人类判断的相对约束，该方法在维基百科和标签系统等多样化数据源上均优于标准余弦相似度，展示了在语义相关性预测方面稳健且可扩展的改进效果。

ABSTRACT

Assessing the degree of semantic relatedness between words is an important task with a variety of semantic applications, such as ontology learning for the Semantic Web, semantic search or query expansion. To accomplish this in an automated fashion, many relatedness measures have been proposed. However, most of these metrics only encode information contained in the underlying corpus and thus do not directly model human intuition. To solve this, we propose to utilize a metric learning approach to improve existing semantic relatedness measures by learning from additional information, such as explicit human feedback. For this, we argue to use word embeddings instead of traditional high-dimensional vector representations in order to leverage their semantic density and to reduce computational cost. We rigorously test our approach on several domains including tagging data as well as publicly available embeddings based on Wikipedia texts and navigation. Human feedback about semantic relatedness for learning and evaluation is extracted from publicly available datasets such as MEN or WS-353. We find that our method can significantly improve semantic relatedness measures by learning from additional information, such as explicit human feedback. For tagging data, we are the first to generate and study embeddings. Our results are of special interest for ontology and recommendation engineers, but also for any other researchers and practitioners of Semantic Web techniques.

研究动机与目标

• 解决基于语料库的语义相关性度量与人类直觉在词语相似性评估中的差距。
• 开发一种可扩展、灵活的方法，利用显式的人类反馈作为约束，改进现有词嵌入。
• 探索度量学习在新型数据源（尤其是此前未针对语义嵌入研究过的标签数据）上的有效性。
• 评估所学习的度量是否能在不同的人工标注相关性数据集上泛化。
• 通过用户提供反馈，实现个性化或领域特定的语义相关性模型。

提出的方法

• 应用基于相对约束（四元组）的度量学习，根据人类对语义相关性的判断来优化现有词嵌入。
• 使用低维稠密词嵌入而非高维稀疏向量，以提升语义表达能力并降低计算成本。
• 将人类反馈编码为距离约束：例如，基于人类评分，词对 A-B 的相似度应高于 C-D。
• 通过基于边距的优化方法，训练一个度量模型，使相关性更高的词对距离更小，而相关性更低的词对距离更大。
• 将度量学习框架适配至来自不同来源的嵌入：维基百科文本、导航轨迹和社交标签数据。
• 在 MEN 和 WS-353 等标准基准上评估所学习的度量，以衡量其与人类判断的相关性。

实验结果

研究问题

• RQ1 通过将人类反馈整合到预训练词嵌入中，度量学习是否能显著提升语义相关性度量？
• RQ2 所学习度量在维基百科文本、导航路径和标签数据等不同数据源上的性能表现如何？
• RQ3 在一个人工标注数据集上学习的度量在其他人工标注相关性数据集上能多大程度上实现泛化？
• RQ4 当在噪声或错误的人类反馈上进行训练时，该方法是否仍保持鲁棒性？
• RQ5 标签数据能否被有效转换为适用于度量学习的有意义词嵌入？

主要发现

• 所提出的度量学习方法在所有测试数据源（包括此前未针对此类嵌入研究过的标签数据）上均显著提升了语义相关性度量。
• 在 MEN 和 WS-353 等基准数据集上，该方法与人类判断的相关性高于标准余弦相似度。
• 所学习的度量在不同人工标注数据集间表现出良好的泛化能力，表明基于反馈的知识具有可迁移性。
• 当在错误或虚假反馈上进行训练时，模型性能下降，证实该方法可靠地编码了输入约束，且未出现过拟合。
• 使用词嵌入而非高维向量，显著提升了语义表达能力，并降低了度量学习过程中的计算成本。
• 本研究首次从标签数据生成并分析了嵌入，证明了其在语义相关性任务中的实用性。