[论文解读] Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification

Sanath Narayan, Akshita Gupta+3 more|arXiv (Cornell University)|Mar 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用 33

一句话总结

提出 TF-VAEGAN，一种带有语义嵌入解码器和反馈回路的 VAE-GAN 框架，旨在训练、合成和分类阶段对 (G)ZSL 的语义一致性进行强制，以实现图像和视频上的最先进性能，在多个基准上达到最新结果。

ABSTRACT

Zero-shot learning strives to classify unseen categories for which no data is available during training. In the generalized variant, the test samples can further belong to seen or unseen categories. The state-of-the-art relies on Generative Adversarial Networks that synthesize unseen class features by leveraging class-specific semantic embeddings. During training, they generate semantically consistent features, but discard this constraint during feature synthesis and classification. We propose to enforce semantic consistency at all stages of (generalized) zero-shot learning: training, feature synthesis and classification. We first introduce a feedback loop, from a semantic embedding decoder, that iteratively refines the generated features during both the training and feature synthesis stages. The synthesized features together with their corresponding latent embeddings from the decoder are then transformed into discriminative features and utilized during classification to reduce ambiguities among categories. Experiments on (generalized) zero-shot object and action classification reveal the benefit of semantic consistency and iterative feedback, outperforming existing methods on six zero-shot learning benchmarks. Source code at https://github.com/akshitac8/tfvaegan.

研究动机与目标

• 通过在各阶段（训练、合成和分类）强制语义一致性来改进零样本和广义零样本分类。
• 利用语义嵌入解码器（SED）在合成和分类过程中提供反馈并重建语义嵌入。
• 在 VAE-GAN 框架中引入一个反馈模块，以迭代地细化合成特征。
• 在分类过程中通过利用来自 SED 的潜在嵌入来增强判别特征变换。
• 在图像的标准 ZSL/GZSL 基准和视频中的零样本动作识别基准上展示改进。

提出的方法

• 在 f-VAEGAN 的骨干上构建 TF-VAEGAN，使用条件生成器和 VAE 编码器来合成未见类别特征。
• 引入一个语义嵌入解码器（SED），从特征重构嵌入并在训练期间对嵌入施加循环一致性约束（L_R）。
• 添加反馈模块（F），通过解码后的嵌入调制生成器层以细化特征合成（迭代细化）。
• 通过将视觉特征与来自 SED 的潜在嵌入拼接，应用判别式特征变换用于 ZSL/GZSL 分类（f_zsl 和 f_gzsl）。
• 使用总损失 L_total = L_vaegan + beta * L_R 进行训练，其中 L_R 强制嵌入循环一致性；将训练扩展为交替的 G 和 F 更新。
• 将框架扩展到广义零样本学习，并在图像数据集（CUB、FLO、SUN、AWA2）和视频零样本动作数据集（HMDB51、UCF101）上进行测试。

实验结果

研究问题

• RQ1 是否可以在 (G)ZSL 的所有阶段强制语义一致性，以改善合成和判别？
• RQ2 语义嵌入解码器是否提供有用的反馈来改进生成特征，从而提升 ZSL/GZSL 性能？
• RQ3 将带有 SED 潜在嵌入的判别式特征变换纳入是否能降低 ZSL/GZSL 中的类间歧义？
• RQ4 这些想法是否可移植到视频中的广义零样本动作识别？
• RQ5 在标准基准上，所提 TF-VAEGAN 组件相对于基线 f-VAEGAN 和其他基于 GAN 的 ZSL 方法的性能如何？

主要发现

• TF-VAEGAN 在四个标准 ZSL/GZSL 数据集的自学习和传导设置中都优于基线 f-VAEGAN。
• 在 ZSL 中，TF-VAEGAN 在 CUB、FLO、SUN 和 AWA 上的 top-1 准确率高于基线及若干同期方法。
• 在 GZSL 中，TF-VAEGAN 在各数据集上获得更高的调和均值以及 unseen/seen 准确率，包括利用未标记数据的传导设置。
• 消融结果表明，Feedback 和 T-feature 的贡献都优于基线，TF-VAEGAN 将两者结合以获得最佳结果。
• 将 TF-VAEGAN 融入到 f-CLSWGAN 框架中时也显示出改进，说明所提组件的通用性。