[论文解读] Multi-modal Ensemble Classification for Generalized Zero Shot Learning

Rafael Felix, Michele Sasdelli+2 more|arXiv (Cornell University)|Jan 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用 17

一句话总结

该论文提出了一种用于广义零样本学习（GZSL）的多模态集成分类框架，通过贝叶斯推断结合蒙特卡洛丢弃（Monte Carlo dropout）与可学习的校准堆叠方法，在训练和推理阶段同时优化视觉与语义分类器。该方法在多个基准测试中达到最先进性能，在细粒度数据集（如 CUB 和 FLO）上将 H-mean 提升了最高达 2.1 个百分点。

ABSTRACT

Generalized zero shot learning (GZSL) is defined by a training process containing a set of visual samples from seen classes and a set of semantic samples from seen and unseen classes, while the testing process consists of the classification of visual samples from seen and unseen classes. Current approaches are based on testing processes that focus on only one of the modalities (visual or semantic), even when the training uses both modalities (mostly for regularizing the training process). This under-utilization of modalities, particularly during testing, can hinder the classification accuracy of the method. In addition, we note a scarce attention to the development of learning methods that explicitly optimize a balanced performance of seen and unseen classes. Such issue is one of the reasons behind the vastly superior classification accuracy of seen classes in GZSL methods. In this paper, we mitigate these issues by proposing a new GZSL method based on multi-modal training and testing processes, where the optimization explicitly promotes a balanced classification accuracy between seen and unseen classes. Furthermore, we explore Bayesian inference for the visual and semantic classifiers, which is another novelty of our work in the GZSL framework. Experiments show that our method holds the state of the art (SOTA) results in terms of harmonic mean (H-mean) classification between seen and unseen classes and area under the seen and unseen curve (AUSUC) on several public GZSL benchmarks.

研究动机与目标

• 解决现有方法中在 GZSL 中已见类与未见类之间分类准确率不平衡的长期问题。
• 克服尽管在训练中使用了视觉与语义模态，但在推理阶段两者均被低效利用的问题。
• 构建一个统一的学习框架，实现对已见类与未见类性能的均衡优化，无需分别训练 ZSL 或 GZSL 模型。
• 通过调节单一超参数，实现从 ZSL 到完全监督设置的灵活部署。
• 通过在两种模态上应用蒙特卡洛丢弃的贝叶斯集成学习，提升泛化能力与鲁棒性。

提出的方法

• 使用多模态数据分别训练视觉与语义分类器：视觉特征来自已见类，语义属性来自已见与未见类。
• 对视觉与语义分类器均应用蒙特卡洛（MC）丢弃，以实现贝叶斯不确定性估计与基于集成的预测。
• 通过可学习的校准堆叠方法融合视觉与语义贝叶斯分类器的输出，该方法以优化已见类与未见类准确率之间的调和平均（H-mean）为目标。
• 引入超参数 β 以控制已见类与未见类性能之间的平衡，使模型无需微调即可在 ZSL 与 GZSL 模式间插值。
• 利用验证集优化模型，学习最优的 α（模态融合权重）与 β（已见/未见性能平衡），从而在测试数据上实现良好泛化。
• 采用基于 cycle-WGAN 的数据增强方法对视觉特征进行增强，以提升泛化能力，同时结合分类加权策略进一步提升性能。

实验结果

研究问题

• RQ1 在推理阶段同时利用视觉与语义模态的多模态集成方法，是否能优于单模态或单模态训练方法在 GZSL 中的表现？
• RQ2 显式优化已见类与未见类之间的性能平衡，是否能带来 H-mean 与 seen-unseen 曲线下方面积（AUSUC）指标的提升？
• RQ3 一个单一的统一 GZSL 模型是否可通过单一超参数实现动态重构，在 ZSL 与完全监督设置中均保持良好性能？
• RQ4 与标准分类器相比，通过蒙特卡洛丢弃实现的贝叶斯集成学习在零样本分类中如何提升鲁棒性与泛化能力？
• RQ5 为何现有 GZSL 方法对已见类表现出强烈偏差？这种偏差是否可通过显式优化平衡性能来缓解？

主要发现

• 所提出的 3ME 方法在 CUB 数据集上实现了 54.3% 的新 SOTA H-mean，相较于之前工作的 52.2% 显著提升。
• 在 FLO 数据集上，H-mean 从 64.5% 提升至 66.8%，在细粒度零样本学习任务中取得显著进步。
• 在 SUN 数据集上达到 39.4% 的 SOTA H-mean，在 AwA 数据集上达到 60.2%，在粗粒度数据集上实现与之前 SOTA 相当的微小提升。
• 在零样本学习（ZSL）设置下，CUB 上的准确率达到 71.1%，FLO 上达到 83.9%，分别显著优于之前 SOTA 的 57.8% 与 68.8%。
• 该方法在所有评估数据集上均取得最高的 AUSUC 分数，表明其在已见/未见类性能权衡的各类操作点上均具备卓越的整体性能。
• 可学习的 β 校准堆叠机制使模型无需重新训练即可在 ZSL 与 GZSL 模式间实现动态适应，且在两种模式下均保持高性能。