[论文解读] Classifying Unseen Instances by Learning Class-Independent Similarity Functions

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Nov 14, 2015

Domain Adaptation and Few-Shot Learning参考文献 29被引用 3

一句话总结

该论文通过建模源域与目标域样本之间的匹配后验概率，提出了一种与类别无关的相似性函数，用于零样本识别（ZSR）。基于字典学习的联合判别学习框架，该方法在四个基准数据集上的准确率相比最先进方法提升了4.90%，零样本检索的mAP提升了22.45%。

ABSTRACT

Zero-shot recognition (ZSR) deals with the problem of predicting class labels for target domain instances based on source domain side information (e.g. attributes) of unseen classes. We formulate ZSR as a binary prediction problem. Our resulting classifier is class-independent. It takes an arbitrary pair of source and target domain instances as input and predicts whether or not they come from the same class, i.e. whether there is a match. We model the posterior probability of a match since it is a sufficient statistic and propose a latent probabilistic model in this context. We develop a joint discriminative learning framework based on dictionary learning to jointly learn the parameters of our model for both domains, which ultimately leads to our class-independent classifier. Many of the existing embedding methods can be viewed as special cases of our probabilistic model. On ZSR our method shows 4.90\% improvement over the state-of-the-art in accuracy averaged across four benchmark datasets. We also adapt ZSR method for zero-shot retrieval and show 22.45\% improvement accordingly in mean average precision (mAP).

研究动机与目标

• 解决零样本识别（ZSR）中的挑战，即模型必须仅使用源域的辅助信息（如属性）对未见类别进行分类。
• 通过将ZSR建模为与类别无关的二分类匹配预测问题，克服现有方法的局限性。
• 构建一个统一的概率模型，联合学习源域和目标域的相似性函数。
• 通过学习对类别身份不敏感的潜在相似性函数，提升ZSR的泛化能力。
• 将方法扩展至零样本检索任务，提升平均精度均值（mAP）表现，超越现有方法。

提出的方法

• 将ZSR建模为二分类任务：预测一个源-目标样本对是否属于同一类别。
• 将匹配的后验概率建模为决策的充分统计量。
• 提出一种潜在概率模型，捕捉样本之间的与类别无关的相似性。
• 基于字典学习，开发一种联合判别学习框架，以同时优化两个域的参数。
• 通过聚焦于结构相似性而非类别特异性特征，学习共享表征，从而实现对未见类别的泛化。
• 通过重用学习到的相似性函数对候选样本进行排序，将该框架适配至零样本检索任务。

实验结果

研究问题

• RQ1 与类别特定模型相比，是否能通过使用与类别无关的相似性函数提升零样本识别性能？
• RQ2 对匹配后验概率的建模在多大程度上提升了零样本学习中的泛化能力？
• RQ3 在源域与目标域之间进行联合字典学习，能在多大程度上提升相似性估计性能？
• RQ4 所提出的方法能否有效扩展至零样本检索任务，并实现可测量的mAP提升？
• RQ5 在准确率和泛化能力方面，该方法与现有基于嵌入的方法相比表现如何？

主要发现

• 所提方法在四个基准零样本识别数据集上的平均准确率相比最先进方法实现了4.90%的绝对提升。
• 通过学习依赖于共享结构模式的与类别无关的相似性函数，模型在未见类别上表现出良好的泛化能力。
• 联合字典学习框架实现了源域与目标域之间的有效参数共享，提升了模型鲁棒性。
• 在适配至零样本检索任务后，与先前方法相比，该方法使平均精度均值（mAP）提升了22.45%。
• 许多现有基于嵌入的方法被证明是所提概率模型的特例，验证了其通用性。
• 后验匹配概率建模相比直接分类基线，能产生更可靠且校准更优的预测结果。