[论文解读] Learning Joint Feature Adaptation for Zero-Shot Recognition

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Nov 23, 2016

Domain Adaptation and Few-Shot Learning参考文献 45被引用 18

一句话总结

本文提出了一种名为联合特征适配（Joint Feature Adaptation, JFA）的新框架，用于零样本识别。该框架通过学习数据相关的特征变换，提升稀疏源域属性与可变目标域实例之间的相似性匹配。通过使用带正则化最小二乘惩罚项的潜在结构SVM优化双线性相似性函数，JFA在aP&Y数据集上实现了80.89%的最先进准确率，相比之前的工作高出11.15个百分点。

ABSTRACT

Zero-shot recognition (ZSR) aims to recognize target-domain data instances of unseen classes based on the models learned from associated pairs of seen-class source and target domain data. One of the key challenges in ZSR is the relative scarcity of source-domain features (e.g. one feature vector per class), which do not fully account for wide variability in target-domain instances. In this paper we propose a novel framework of learning data-dependent feature transforms for scoring similarity between an arbitrary pair of source and target data instances to account for the wide variability in target domain. Our proposed approach is based on optimizing over a parameterized family of local feature displacements that maximize the source-target adaptive similarity functions. Accordingly we propose formulating zero-shot learning (ZSL) using latent structural SVMs to learn our similarity functions from training data. As demonstration we design a specific algorithm under the proposed framework involving bilinear similarity functions and regularized least squares as penalties for feature displacement. We test our approach on several benchmark datasets for ZSR and show significant improvement over the state-of-the-art. For instance, on aP&Y dataset we can achieve 80.89% in terms of recognition accuracy, outperforming the state-of-the-art by 11.15%.

研究动机与目标

• 解决稀疏源域属性向量无法捕捉目标域数据类内差异的问题。
• 通过学习自适应的、与数据相关的特征变换，提升源域与目标域实例之间的相似性匹配，从而改善零样本识别性能。
• 将零样本学习建模为潜在结构SVM问题，联合优化特征适配与相似性评分。
• 通过学习位移函数，在推理阶段同时优化源域和目标域特征，以应对目标域数据的广泛变异性。
• 在基准零样本识别数据集上，显著超越现有最先进方法。

提出的方法

• 提出一种数据相关的自适应相似性函数，在测试时推理阶段联合优化源域和目标域的特征位移。
• 使用双线性形式参数化相似性函数，以建模适配后源域与目标域特征之间的跨域交互。
• 引入正则化最小二乘作为惩罚项，控制特征位移的大小，确保适配过程稳定且具有语义意义。
• 使用潜在结构SVM端到端训练模型，从已知类别的标注数据中学习自适应相似性函数的参数。
• 采用交替优化方法，在位移函数的受限族内高效计算全局最优适配特征。
• 将所提出的JFA模块集成到现有ZSL框架（如SP-ZSR）中，无需架构重构即可显著提升性能。

实验结果

研究问题

• RQ1 通过考虑目标域数据中的类内差异，数据相关的特征适配是否能提升零样本识别性能？
• RQ2 如何学习一种自适应相似性函数，实现在测试阶段对源域和目标域特征的联合优化？
• RQ3 在稀疏源域监督下，引入特征位移惩罚是否能提升零样本学习的泛化能力？
• RQ4 所提出的框架是否能在标准和归纳式零样本识别设置下均超越最先进方法？
• RQ5 在具有不同类别和属性复杂度的多样化基准数据集上，自适应相似性函数的性能表现如何？

主要发现

• 在aP&Y数据集上，JFA实现了80.89%的零样本识别准确率，相比之前最先进方法绝对提升11.15个百分点。
• 在CUB数据集上，JFA相比先前最先进方法准确率提升4.70个百分点，相对提升11.25%。
• 在归纳式设置下，JFA在所有基准数据集上的平均准确率比最先进方法高出2.26%。
• 该方法在精度和召回率方面均优于先前方法，尤其在aP&Y和SUN等具有挑战性的数据集上表现突出，aP&Y数据集上达到76.41%的精度和77.20%的召回率。
• 尽管在某些情况下标准差较高，JFA在所有数据集上均保持一致的性能提升，表明对数据变异性的鲁棒性。
• 所提出的JFA框架与现有ZSL流程（如SP-ZSR）兼容，集成后可实现显著的准确率提升。