[论文解读] Model Selection for Generalized Zero-shot Learning

Hongguang Zhang, Piotr Koniusz|arXiv (Cornell University)|Nov 8, 2018

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 ModelSel，一种用于广义零样本学习的新型模型选择框架，通过使用 GAN 生成的辅助数据，将分类任务分离为已见类和未见类任务。通过训练一个分类器以区分已见与未见数据，并为每类使用专门的分类器，该方法减轻了类别不平衡带来的偏差，实现了在四个基准数据集上的最先进性能。

ABSTRACT

In the problem of generalized zero-shot learning, the datapoints from unknown classes are not available during training. The main challenge for generalized zero-shot learning is the unbalanced data distribution which makes it hard for the classifier to distinguish if a given testing sample comes from a seen or unseen class. However, using Generative Adversarial Network (GAN) to generate auxiliary datapoints by the semantic embeddings of unseen classes alleviates the above problem. Current approaches combine the auxiliary datapoints and original training data to train the generalized zero-shot learning model and obtain state-of-the-art results. Inspired by such models, we propose to feed the generated data via a model selection mechanism. Specifically, we leverage two sources of datapoints (observed and auxiliary) to train some classifier to recognize which test datapoints come from seen and which from unseen classes. This way, generalized zero-shot learning can be divided into two disjoint classification tasks, thus reducing the negative influence of the unbalanced data distribution. Our evaluations on four publicly available datasets for generalized zero-shot learning show that our model obtains state-of-the-art results.

研究动机与目标

• 解决广义零样本学习中的类别不平衡问题，因为数据分布偏移导致分类器倾向于已见类别。
• 克服现有方法将广义零样本学习视为单一统一分类任务的局限性，从而在未见类别上实现更优泛化。
• 利用生成对抗网络（GAN）为未见类别合成辅助数据，以提升模型的鲁棒性和泛化能力。
• 开发一种模型选择机制，将已见类与未见类的分类解耦，实现更准确和均衡的预测。
• 通过改进数据不平衡处理和分类器专业化，实现在多个标准广义零样本学习基准上的最先进性能。

提出的方法

• 训练一个线性 SVM 分类器（M_sel）以区分原始训练数据（标记为 1）和 GAN 生成的未见类别数据（标记为 -1），从而构建数据来源的分类器。
• 在原始已见类别数据上训练一个独立分类器 M_s，在 GAN 生成的未见类别数据上训练另一个分类器 M_u，以实现对每类的专门化学习。
• 为 M_s、M_u 和一个在合并的已见与未见数据上训练的联合分类器 M_t 使用 SoftmaxLog 分类器，以供对比。
• 提出两种变体：ModelSel-2Way（二元分类器）和 ModelSel-3Way（三元分类器），其中 ModelSel-2Way-SA 在 SVM 分数上引入 Sigmoid 的软分配机制。
• 在训练 M_sel 之前，对原始数据和生成数据分别进行标准化处理（均值和标准差），以缓解分布不平衡问题。
• 使用 Adam 优化所有模型，学习率为 1e-4，批量大小为 60，训练 50 个周期，超参数通过交叉验证进行调优。

实验结果

研究问题

• RQ1 一种将已见类与未见类分类分离的模型选择机制，是否能提升广义零样本学习的性能？
• RQ2 与联合训练相比，将已见类与未见类分类器的训练解耦，对准确率和鲁棒性有何影响？
• RQ3 在广义零样本学习中，使用 GAN 生成的未见类别辅助数据，能在多大程度上减轻类别不平衡的负面影响？
• RQ4 通过 Sigmoid 对 SVM 分数进行软分配，对提升模型泛化能力和准确率有何影响？
• RQ5 所提出的 ModelSel 框架与 f-CLSWGAN 和 ZSKL 等最先进方法相比，在多样化基准数据集上的表现如何？

主要发现

• 在 FLO 数据集上，ModelSel-3Way 实现了 66.4% 的调和平均准确率，比之前的最先进方法 f-CLSWGAN 提高 0.8 个百分点。
• 在 AWA1 上，ModelSel-3Way 实现 62.4% 的调和平均准确率，较 f-CLSWGAN 提高 2.8 个百分点。
• 在 AWA2 上，ModelSel-3Way 实现 63.7% 的调和平均准确率，较 f-CLSWGAN 提高 3.6 个百分点。
• 在 APY 上，ModelSel-2Way-SA 实现 42.3% 的调和平均准确率，显著优于 ZSKL 的 20.5%，表明在具有挑战性的数据划分上表现强劲。
• 软分配变体（ModelSel-2Way-SA）在所有数据集上均表现出一致提升，表明基于 Sigmoid 的分数校准可增强泛化能力。
• 模型选择机制有效缓解了类别不平衡问题，表现为在已见类和未见类划分上的性能均提升，尤其在 APY 等以往困难的基准上表现显著。