[论文解读] Adaptive Confidence Smoothing for Generalized Zero-Shot Learning

Yuval Atzmon, Gal Chechik|arXiv (Cornell University)|Dec 24, 2018

Domain Adaptation and Few-Shot Learning参考文献 64被引用 7

一句话总结

本文提出自适应置信度平滑（COSMO），一种模块化的概率框架，用于广义零样本学习（GZSL），通过结合已见类别分类器、零样本分类器以及基于置信度的门控网络，实现预测结果的软性融合。COSMO在四个基准数据集（AWA、SUN、CUB、FLOWER）上表现优于最先进模型，取得新的SOTA结果，且在性能上超越了复杂的生成模型，同时相比基于GAN的方法更为简洁、更易训练。

ABSTRACT

Generalized zero-shot learning (GZSL) is the problem of learning a classifier where some classes have samples and others are learned from side information, like semantic attributes or text description, in a zero-shot learning fashion (ZSL). Training a single model that operates in these two regimes simultaneously is challenging. Here we describe a probabilistic approach that breaks the model into three modular components, and then combines them in a consistent way. Specifically, our model consists of three classifiers: A "gating" model that makes soft decisions if a sample is from a "seen" class, and two experts: a ZSL expert, and an expert model for seen classes. We address two main difficulties in this approach: How to provide an accurate estimate of the gating probability without any training samples for unseen classes; and how to use expert predictions when it observes samples outside of its domain. The key insight to our approach is to pass information between the three models to improve each one's accuracy, while maintaining the modular structure. We test our approach, adaptive confidence smoothing (COSMO), on four standard GZSL benchmark datasets and find that it largely outperforms state-of-the-art GZSL models. COSMO is also the first model that closes the gap and surpasses the performance of generative models for GZSL, even-though it is a light-weight model that is much easier to train and tune. Notably, COSMO offers a new view for developing zero-shot models. Thanks to COSMO's modular structure, instead of trying to perform well both on seen and on unseen classes, models can focus on accurate classification of unseen classes, and later consider seen class models.

研究动机与目标

• 为在单一、一致的模型中结合已见类别上的监督学习与未见类别上的零样本学习，解决该挑战。
• 通过实现已见与未见类别专家预测的软性、置信度感知融合，提升GZSL中的泛化能力与鲁棒性。
• 开发一种轻量级、模块化的框架，无需大量训练或超参数调优，即可超越复杂生成模型。

提出的方法

• 将GZSL分解为三个模块化组件：已见类别分类器、零样本分类器，以及用于已见/未见领域区分的二元门控网络。
• 使用基于置信度的门控（CB-Gating）网络，利用两个专家输出的softmax置信度分数，估计样本属于已见领域的概率。
• 通过在softmax输出上引入类似拉普拉斯的先验，实现自适应置信度平滑，其中平滑权重根据门控网络的置信度动态调整。
• 利用全概率定律组合专家预测：p(类别) = p(类别|已见)p(已见) + p(类别|未见)p(未见)，其中门控模块提供软性加权。
• 通过从保留的训练类别中模拟未见类别响应来训练门控网络，从而在无需真实未见样本的情况下估计p(未见)。
• 引入一种新颖的、与类别无关的专家预测表示，以提升分布外（OOD）检测能力，并防止零样本专家产生过度自信的误报。

实验结果

研究问题

• RQ1 在训练过程中无需真实未见类别样本的情况下，如何在GZSL中实现已见与未见类别分类器的软性、概率一致融合？
• RQ2 基于置信度的门控机制对GZSL模型的准确率与鲁棒性，特别是对已见与未见分布的区分能力，有何影响？
• RQ3 自适应置信度平滑是否能改善零样本分类器的校准性，并降低对分布外样本的过度自信，尤其是在与门控网络结合时？
• RQ4 所提出的模块化框架在GZSL基准测试中，与最先进模型（包括复杂生成模型）相比，其性能提升程度如何？
• RQ5 门控、平滑与专家模型等各个组件之间如何相互作用，并协同提升整体性能？

主要发现

• COSMO在四个标准GZSL基准数据集（AWA、SUN、CUB、FLOWER）上均取得了新的SOTA AUSUC得分。
• 在AWA数据集上，COSMO达到63.6%的H-准确率，超越了此前SOTA的58.3%（来自Independent-Hard基线）。
• 在SUN数据集上，COSMO达到41.0%的H-准确率，显著优于Independent-Hard基线的35.1%。
• 在CUB数据集上，COSMO实现50.2%的H-准确率，优于Independent-Hard基线的44.6%，展现出强大的泛化能力。
• 与恒定平滑或无平滑相比，自适应置信度平滑在CUB上实现最高1.2%的相对准确率提升，在AWA上实现1.4%的提升。
• 消融研究证实，基于置信度的门控与自适应平滑均不可或缺，二者结合时性能最高，且表现出微弱但可测量的协同效应。