[论文解读] CANZSL: Cycle-Consistent Adversarial Networks for Zero-Shot Learning from Natural Language

Zhi Chen, Jingjing Li+3 more|arXiv (Cornell University)|Sep 21, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用 15

一句话总结

本文提出CANZSL，一种用于从自然语言进行零样本学习的循环一致性生成对抗网络，通过联合训练一个前向生成对抗网络，从噪声文本中合成视觉特征，以及一个反向生成对抗网络，从合成的视觉特征中重建文本，从而通过循环一致性损失和分类损失提升语义保真度。该方法在零样本识别和广义零样本学习基准上均达到最先进性能，显著优于先前方法。

ABSTRACT

Existing methods using generative adversarial approaches for Zero-Shot Learning (ZSL) aim to generate realistic visual features from class semantics by a single generative network, which is highly under-constrained. As a result, the previous methods cannot guarantee that the generated visual features can truthfully reflect the corresponding semantics. To address this issue, we propose a novel method named Cycle-consistent Adversarial Networks for Zero-Shot Learning (CANZSL). It encourages a visual feature generator to synthesize realistic visual features from semantics, and then inversely translate back synthesized the visual feature to corresponding semantic space by a semantic feature generator. Furthermore, in this paper a more challenging and practical ZSL problem is considered where the original semantics are from natural language with irrelevant words instead of clean semantics that are widely used in previous work. Specifically, a multi-modal consistent bidirectional generative adversarial network is trained to handle unseen instances by leveraging noise in the natural language. A forward one-to-many mapping from one text description to multiple visual features is coupled with an inverse many-to-one mapping from the visual space to the semantic space. Thus, a multi-modal cycle-consistency loss between the synthesized semantic representations and the ground truth can be learned and leveraged to enforce the generated semantic features to approximate to the real distribution in semantic space. Extensive experiments are conducted to demonstrate that our method consistently outperforms state-of-the-art approaches on natural language-based zero-shot learning tasks.

研究动机与目标

• 为解决现有基于生成对抗网络的零样本学习方法在从干净语义原型生成视觉特征时语义保真度不足的问题。
• 实现从噪声大、真实世界中的自然语言描述进行鲁棒的零样本学习，而非依赖于干净、人工标注的属性。
• 通过在视觉与文本特征空间之间强制实施循环一致性，缓解广义零样本学习中的已知-未知准确率偏差。
• 通过对抗训练结合分类监督，提升合成视觉特征的泛化能力和判别能力。

提出的方法

• 前向生成对抗网络利用去噪全连接层和梯度裁剪的Wasserstein生成对抗网络，从噪声自然语言描述中生成视觉特征，以实现稳定训练。
• 在判别器上训练分类头，以确保生成的视觉特征具有判别性和类别准确性。
• 反向生成对抗网络将合成的视觉特征重建回文本表示，与前向生成对抗网络形成循环结构。
• 在重建文本与原始输入文本之间应用循环一致性损失，以在生成过程中保持语义一致性。
• 在反向判别器上也应用分类损失，以在重建过程中保留语义信息并抑制噪声。
• 整个模型通过对抗损失、循环一致性损失和分类损失进行端到端联合训练，共同优化真实性、保真度和判别性。

实验结果

研究问题

• RQ1 循环一致的生成对抗网络能否提升从自然语言生成视觉特征的语义保真度？
• RQ2 通过引入反向生成对抗网络进行重建，能否提升生成视觉特征的质量和判别能力？
• RQ3 在真实世界中存在噪声的文本输入下，该方法能否在广义零样本学习中超越现有最先进方法？
• RQ4 循环一致性损失是否能有效正则化生成器，以在视觉特征合成过程中保持语义含义？

主要发现

• 在CUB数据集上，CANZSL在SCS划分上达到40.2%的准确率，在SCE划分上达到12.5%，分别领先于第二名GAZSL 4.8和3.8个百分点。
• 在NAB数据集上，CANZSL在SCS和SCE划分上分别达到25.6%和6.8%，显著超过GAZSL的20.4%和5.8%。
• 在基于属性的零样本学习中，CANZSL在CUB数据集上达到56.5%的准确率，超过此前最先进方法GAZSL（55.8%）和ESZSL（53.9%）。
• t-SNE可视化结果表明，合成的视觉特征保留了类别级别的结构与分布，即使在视觉上相似的鸟类种类之间也形成了清晰的聚类。
• 消融实验表明，对抗损失、循环一致性损失和分类损失共同提升了性能，其中循环一致性损失对语义保真度尤为关键。