[论文解读] Information Bottleneck Constrained Latent Bidirectional Embedding for Zero-Shot Learning

Yang Liu, Lei Zhou+4 more|arXiv (Cornell University)|Sep 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 77被引用 5

一句话总结

本文提出了一种信息瓶颈约束的双向生成模型用于零样本学习，通过在统一潜在空间中联合优化视觉与语义嵌入，保留关键属性信息，从而减少校准偏差和枢纽性问题。该方法通过引入不确定性估计和唤醒-睡眠训练，减轻噪声并提升抽象能力，在多个基准测试中实现了最先进性能。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize novel classes by transferring semantic knowledge from seen classes to unseen classes. Though many ZSL methods rely on a direct mapping between the visual and the semantic space, the calibration deviation and hubness problem limit the generalization capability to unseen classes. Recently emerged generative ZSL methods generate unseen image features to transform ZSL into a supervised classification problem. However, most generative models still suffer from the seen-unseen bias problem as only seen data is used for training. To address these issues, we propose a novel bidirectional embedding based generative model with a tight visual-semantic coupling constraint. We learn a unified latent space that calibrates the embedded parametric distributions of both visual and semantic spaces. Since the embedding from high-dimensional visual features comprise much non-semantic information, the alignment of visual and semantic in latent space would inevitably been deviated. Therefore, we introduce information bottleneck (IB) constraint to ZSL for the first time to preserve essential attribute information during the mapping. Specifically, we utilize the uncertainty estimation and the wake-sleep procedure to alleviate the feature noises and improve model abstraction capability. In addition, our method can be easily extended to transductive ZSL setting by generating labels for unseen images. We then introduce a robust loss to solve this label noise problem. Extensive experimental results show that our method outperforms the state-of-the-art methods in different ZSL settings on most benchmark datasets. The code will be available at https://github.com/osierboy/IBZSL.

研究动机与目标

• 解决仅依赖已见数据进行训练的生成式零样本学习方法中存在的已见-未见偏差问题。
• 通过强化视觉与语义表示之间的紧密耦合，减少视觉-语义嵌入空间中的校准偏差和枢纽性问题。
• 通过集成信息瓶颈约束，在特征映射过程中保留关键属性信息，提升模型的抽象能力和抗噪鲁棒性。
• 通过为未见图像生成伪标签并利用鲁棒损失函数缓解标签噪声，实现有效的归纳式零样本学习。
• 通过统一视觉与语义空间学习并提升泛化能力，在多样化 ZSL 基准上实现最先进性能。

提出的方法

• 提出一种双向生成模型，通过联合嵌入视觉与语义特征，在统一潜在空间中学习，确保模态间更紧密的耦合。
• 在潜在空间中引入信息瓶颈（IB）约束，仅保留关键属性信息，过滤掉高维视觉特征中的非语义噪声。
• 应用不确定性估计和唤醒-睡眠训练流程，提升对特征噪声的鲁棒性，并增强模型的抽象能力。
• 通过为未见图像生成伪标签并应用鲁棒损失函数，将框架扩展至归纳式 ZSL，以处理标签噪声。
• 使用联合目标函数优化模型，平衡潜在空间中的重建保真度、互信息保持和分类准确率。
• 在潜在空间中使用参数化分布对视觉和语义嵌入进行建模，支持基于梯度的端到端训练。

实验结果

研究问题

• RQ1 信息瓶颈约束是否能通过在视觉-语义映射过程中仅保留关键语义属性，提升零样本学习模型的泛化能力？
• RQ2 双向嵌入与紧密的视觉-语义耦合如何减少零样本识别中的校准偏差和枢纽性问题？
• RQ3 不确定性估计与唤醒-睡眠训练在多大程度上能提升零样本学习对噪声特征的鲁棒性？
• RQ4 所提方法是否能通过为未见图像生成可靠伪标签，有效扩展至归纳式 ZSL？
• RQ5 集成针对标签噪声的鲁棒损失是否能提升归纳式零样本学习设置下的性能？

主要发现

• 所提出的 IBZSL 方法在大多数基准数据集上，无论是在归纳式还是归纳式零样本学习设置中，均实现了最先进性能。
• 信息瓶颈约束显著降低了视觉特征中非语义噪声的影响，改善了视觉与语义空间之间的对齐。
• 不确定性估计与唤醒-睡眠训练显著提升了特征抽象的鲁棒性，并增强了对未见类别的泛化能力。
• 该方法通过在伪标签生成过程中利用鲁棒损失函数，有效处理了归纳式 ZSL 中的标签噪声。
• 大量实验证实，具有紧密耦合的双向生成模型优于现有的生成式与判别式 ZSL 方法。
• 模型在分布偏移条件下仍表现出强大的泛化能力，多个数据集上均保持一致的性能提升。