[论文解读] Improving zero-shot learning by mitigating the hubness problem

Georgiana Dinu, Angeliki Lazaridou+1 more|arXiv (Cornell University)|Dec 20, 2014

Text and Document Classification Technologies被引用 4

一句话总结

本文提出一种后处理方法，通过利用全局排名统计量对最近邻进行重新排序，以减轻零样本学习中的枢纽性问题，显著提升视觉、语言及跨语言任务的准确率。该方法基于目标向量在所有枢纽点中的频率对相似度分数进行校正，降低高程度枢纽点的过度代表现象，在图像和语言检索任务中将性能从0.6–1.5%提升至2.2%。

ABSTRACT

The zero-shot paradigm exploits vector-based word representations extracted from text corpora with unsupervised methods to learn general mapping functions from other feature spaces onto word space, where the words associated to the nearest neighbours of the mapped vectors are used as their linguistic labels. We show that the neighbourhoods of the mapped elements are strongly polluted by hubs, vectors that tend to be near a high proportion of items, pushing their correct labels down the neighbour list. After illustrating the problem empirically, we propose a simple method to correct it by taking the proximity distribution of potential neighbours across many mapped vectors into account. We show that this correction leads to consistent improvements in realistic zero-shot experiments in the cross-lingual, image labeling and image retrieval domains.

研究动机与目标

• 识别并解决枢纽性问题（即某些向量在邻居列表中占主导地位）对零样本学习设置的负面影响。
• 改善因枢纽性导致标准最近邻搜索失效的跨语言、图像标注和图像检索任务中的零样本性能。
• 开发一种简单、无需修改底层映射函数或学习目标的后处理校正方法。
• 通过一种最小化且可泛化的通用方法，在多种零样本领域中展示一致的性能提升。
• 提供实证证据表明，映射后枢纽性现象加剧，且可通过基于排名的重加权有效缓解。

提出的方法

• 在通过正则化最小二乘回归将源域向量（如图像、fMRI或翻译对）映射到词向量空间后，该方法分析所有映射枢纽点中目标向量的全局分布。
• 基于相似度分数而非原始相似度值，计算每个目标向量在所有枢纽点中的排名。
• 随后使用这些全局排名而非原始相似度分数来检索最近邻，从而降低频繁成为多个枢纽点邻居的目标向量（即枢纽点）的权重。
• 该校正方法在推理阶段应用，仅需测试集之外的未标注源空间数据，因此可与任何预训练的映射函数兼容。
• 该方法被形式化为一种排名反转：对每个枢纽点，将所有目标的相似度分数转换为它们在所有枢纽点中的全局排名，并基于这些排名选择邻居。
• 该方法命名为全局校正（GC），能有效降低高程度枢纽点的影响，同时保留语义上相关的邻居。

实验结果

研究问题

• RQ1 在跨语言、图像标注和图像检索任务中，枢纽性对零样本性能的损害程度如何？
• RQ2 是否可以在不修改底层映射函数或学习目标的前提下缓解枢纽性问题？
• RQ3 基于全局排名分布对邻居进行重新排序，是否能在不同零样本领域中带来一致的性能提升？
• RQ4 与余弦相似度归一化等替代归一化技术相比，所提出的校正方法表现如何？
• RQ5 映射源向量至词向量空间后，枢纽性问题是否加剧？是否能以极低计算成本有效逆转此现象？

主要发现

• 枢纽性显著降低零样本性能：在视觉→语言任务中，目标向量的最大枢纽性（N20）从原始词向量空间中的35上升至映射空间中的190。
• 所提出的全局校正（GC）方法将映射后向量的枢纽性降低至最大20，低于原始词向量空间的水平。
• 在视觉→语言任务中，GC将top-1准确率从标准最近邻的1.0%提升至1.5%；在语言→视觉任务中，从0.6%提升至2.2%，表明在不同领域中均实现一致的性能增益。
• 余弦相似度归一化（NN_nrm）在两个方向上的表现均劣于标准最近邻搜索，表明简单的归一化不足以解决枢纽性问题。
• GC方法在所有评估任务中（包括跨语言翻译和图像检索）均持续优于标准最近邻和归一化相似度基线。
• 即使映射函数简单且通用（如正则化最小二乘法），该方法依然有效，表明枢纽性校正可与模型设计解耦。