[论文解读] Bi-Adversarial Auto-Encoder for Zero-Shot Learning

Yunlong Yu, Zhong Ji+4 more|arXiv (Cornell University)|Nov 20, 2018

Adversarial Robustness in Machine Learning参考文献 20被引用 5

一句话总结

本文提出了一种用于零样本学习的双向对抗自编码器（BAAE），通过双对抗框架强制实现视觉-语义的双向对齐。通过联合训练视觉特征生成器、语义推理解码器和分类头，BAAE能够合成高度判别性且语义相关的视觉特征，在传统和广义零样本学习基准上均取得了最先进性能。

ABSTRACT

Existing generative Zero-Shot Learning (ZSL) methods only consider the unidirectional alignment from the class semantics to the visual features while ignoring the alignment from the visual features to the class semantics, which fails to construct the visual-semantic interactions well. In this paper, we propose to synthesize visual features based on an auto-encoder framework paired with bi-adversarial networks respectively for visual and semantic modalities to reinforce the visual-semantic interactions with a bi-directional alignment, which ensures the synthesized visual features to fit the real visual distribution and to be highly related to the semantics. The encoder aims at synthesizing real-like visual features while the decoder forces both the real and the synthesized visual features to be more related to the class semantics. To further capture the discriminative information of the synthesized visual features, both the real and synthesized visual features are forced to be classified into the correct classes via a classification network. Experimental results on four benchmark datasets show that the proposed approach is particularly competitive on both the traditional ZSL and the generalized ZSL tasks.

研究动机与目标

• 解决现有生成式零样本学习方法中单向视觉-语义对齐的局限性，该局限性无法确保合成的视觉特征既具有语义相关性又具备判别性。
• 通过强化视觉特征与类别语义之间的双向交互，提升零样本泛化能力。
• 通过对抗训练和分类监督，提升未见类别合成视觉特征的质量。
• 在传统和广义零样本学习设置下均实现稳健性能，尤其有效缓解了“已见-未见”准确率偏差问题。

提出的方法

• 采用自编码器框架，其中编码器作为视觉特征生成器，对抗性地生成与真实视觉分布匹配的合成视觉特征。
• 引入解码器网络，对从真实和合成视觉特征中重建类别语义进行对抗训练，以强制实现语义一致性。
• 集成分类网络，联合预测真实和合成视觉特征的真实类别标签，以增强判别能力。
• 应用两个独立的生成对抗网络：一个用于视觉特征的真实性（真实 vs. 合成），另一个用于语义重建（推断的 vs. 真实语义）。
• 通过结合对抗损失、重建损失和分类损失的联合目标，端到端优化整个模型。
• 通过多目标训练平衡特征真实性、语义对齐性和判别能力。

实验结果

研究问题

• RQ1 双向视觉-语义对齐是否能提升零样本学习中合成视觉特征的质量？
• RQ2 从合成特征中强制执行语义重建，对未见类别上的分类性能有何影响？
• RQ3 添加分类头在多大程度上提升了合成视觉特征的判别能力？
• RQ4 每类未见类别生成样本数量的增加如何影响整体分类准确率和泛化性能？
• RQ5 与先前方法相比，所提出方法是否在广义零样本学习中减轻了“已见-未见”偏差？

主要发现

• 所提出的 BAAE 在所有四个基准数据集上均在传统零样本学习任务中取得了最先进性能。
• 在广义零样本学习任务中，BAAE 在 AwA1、AwA2 和 aPY 数据集上使用调和平均（H）指标时，全面超越所有基线方法，优势显著。
• 在 SUN 数据集上，BAAE 排名第二，仅落后于 CLSWGAN+SM，表明其在细粒度数据上具有强大的泛化能力。
• 使用合成特征时的调和平均（H）性能优于使用真实特征，表明其在已见与未见类别之间实现了更好的平衡。
• 每类生成样本数量的增加最初能提升准确率，但随后因分布噪声而性能下降，尤其在 SUN 等细粒度数据集上更为明显。
• Softmax 分类器在已见类别上表现略优，但 NN 分类器产生的调和平均分数更稳定，表明判别信息比分布保真度更为关键。