[论文解读] Evolving Semantic Prototype Improves Generative Zero-Shot Learning

Shiming Chen, Wenjin Hou+6 more|arXiv (Cornell University)|Jun 12, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出动态语义原型演化（DSP）方法，通过迭代优化预定义的语义原型，减少生成式零样本学习中的视觉-语义域偏移。通过联合优化视觉特征与语义原型的V2SM和VOPE网络，DSP使生成器能够合成更接近真实特征的视觉特征，使SOTA ZSL方法在CUB、SUN和AWA2数据集上的性能分别提升8.5%、8.0%和9.7%。

ABSTRACT

In zero-shot learning (ZSL), generative methods synthesize class-related sample features based on predefined semantic prototypes. They advance the ZSL performance by synthesizing unseen class sample features for better training the classifier. We observe that each class's predefined semantic prototype (also referred to as semantic embedding or condition) does not accurately match its real semantic prototype. So the synthesized visual sample features do not faithfully represent the real sample features, limiting the classifier training and existing ZSL performance. In this paper, we formulate this mismatch phenomenon as the visual-semantic domain shift problem. We propose a dynamic semantic prototype evolving (DSP) method to align the empirically predefined semantic prototypes and the real prototypes for class-related feature synthesis. The alignment is learned by refining sample features and semantic prototypes in a unified framework and making the synthesized visual sample features approach real sample features. After alignment, synthesized sample features from unseen classes are closer to the real sample features and benefit DSP to improve existing generative ZSL methods by 8.5\%, 8.0\%, and 9.7\% on the standard CUB, SUN AWA2 datasets, the significant performance improvement indicates that evolving semantic prototype explores a virgin field in ZSL.

研究动机与目标

• 为解决生成式零样本学习中因预定义语义原型与真实类别原型对齐不佳而引起的视觉-语义域偏移问题。
• 通过将语义原型演化为更接近真实原型，提升未见类别合成视觉特征的真实性。
• 开发一种灵活的端到端框架，通过更对齐的生成特征增强分类器训练。
• 证明原型演化是推动生成式ZSL方法发展的有前景新方向。

提出的方法

• 该方法引入视觉到语义映射网络（V2SM），从真实视觉样本特征中推断语义原型。
• 提出一种以视觉为导向的语义原型演化网络（VOPE），通过迭代方式优化当前语义原型，使其更接近真实原型。
• 生成器基于演化中的语义原型生成视觉特征，这些特征随后反馈至V2SM以估计原型。
• VOPE由V2SM的输出监督，通过循环一致性损失实现原型与视觉特征的联合优化。
• 框架采用带有超参数α的平滑融合策略，以在各步骤中稳定原型演化过程。
• 推理阶段，将演化后的原型与视觉特征拼接，以增强语义条件并提升分类性能。

实验结果

研究问题

• RQ1 预定义语义原型与真实原型之间的错位如何影响生成式零样本学习的性能？
• RQ2 对语义原型进行迭代优化能否减少视觉-语义域偏移并提升特征合成的真实性？
• RQ3 联合优化的原型演化框架在标准ZSL基准上能在多大程度上提升分类器性能？
• RQ4 所提出方法在原型演化与特征合成的超参数变化下具有多强的鲁棒性？

主要发现

• 所提出的DSP方法使SOTA生成式ZSL方法在CUB数据集上的调和平均准确率提升8.5%。
• 在SUN数据集上，DSP相较于基线生成式ZSL方法实现了8.0%的调和平均准确率提升。
• 在AWA2数据集上，DSP实现了9.7%的调和平均准确率相对提升，展现出强大的泛化能力。
• t-SNE可视化结果表明，DSP生成的特征显著更接近真实特征，优于基线方法。
• 超参数消融实验表明，该方法对α、N_syn及损失权重的变化具有鲁棒性，最优性能出现在α=0.9、N_syn=800、λ_Scyc=0.1和λ_V2S=0.6时。
• V2SM对VOPE的监督至关重要，λ_V2S必须大于其他损失权重，以确保有效的原型对齐。