[论文解读] A Boundary Based Out-of-Distribution Classifier for Generalized Zero-Shot Learning

Xingyu Chen, Xuguang Lan+2 more|arXiv (Cornell University)|Aug 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用 7

一句话总结

该论文提出了一种基于边界的分布外（OOD）分类器，用于广义零样本学习（GZSL），通过在单位超球面上构建共享潜在空间，利用超球面变分自编码器（SVAE）对已见类别的有界流形进行建模。仅通过已见数据学习类别中心和边界，即可在训练过程中无需未见数据的情况下将未见样本与已见样本分离，实现两阶段分类，且在五个基准测试中性能优于当前最先进方法。

ABSTRACT

Generalized Zero-Shot Learning (GZSL) is a challenging topic that has promising prospects in many realistic scenarios. Using a gating mechanism that discriminates the unseen samples from the seen samples can decompose the GZSL problem to a conventional Zero-Shot Learning (ZSL) problem and a supervised classification problem. However, training the gate is usually challenging due to the lack of data in the unseen domain. To resolve this problem, in this paper, we propose a boundary based Out-of-Distribution (OOD) classifier which classifies the unseen and seen domains by only using seen samples for training. First, we learn a shared latent space on a unit hyper-sphere where the latent distributions of visual features and semantic attributes are aligned class-wisely. Then we find the boundary and the center of the manifold for each class. By leveraging the class centers and boundaries, the unseen samples can be separated from the seen samples. After that, we use two experts to classify the seen and unseen samples separately. We extensively validate our approach on five popular benchmark datasets including AWA1, AWA2, CUB, FLO and SUN. The experimental results demonstrate the advantages of our approach over state-of-the-art methods.

研究动机与目标

• 解决在训练过程中无未见样本可用时，训练可靠门控机制的挑战。
• 开发一种仅使用已见类别数据即可区分已见与未见样本的OOD分类器。
• 将GZSL简化为两个独立问题：针对未见类别的零样本学习，以及针对已见类别的有监督分类。
• 提升泛化能力，避免嵌入和生成式GZSL方法中常见的特征混淆或偏差问题。

提出的方法

• 使用超球面变分自编码器（SVAE）在单位超球面上学习共享潜在空间，以类为单位对视觉特征和语义属性进行对齐。
• 将每个已见类别建模为超球面上的冯·米塞斯-费舍尔（vMF）分布，其中均值方向对应类别中心，集中度参数对应流形的紧密程度。
• 利用vMF分布参数识别潜在空间中每个类别流形的边界，从而实现对分布外样本的检测。
• 利用类别中心和边界将样本分类为已见（位于流形内）或未见（位于流形外），形成二元OOD门控机制。
• 通过联合损失函数端到端训练OOD分类器：包括特征和属性的重构损失、用于分离已见类别的对比损失，以及二元门控的分类损失。
• 为最终分类应用两个独立的专家：一个用于已见样本（位于流形内），一个用于未见样本（位于流形外），从而解耦两个任务。

实验结果

研究问题

• RQ1 能否通过在共享潜在空间中建模有界流形，在不使用任何未见数据的情况下训练出可靠的分布外分类器？
• RQ2 在超球面潜在空间中，类别中心和边界在多大程度上能有效将未见样本与已见样本分离？
• RQ3 所提出的基于边界的OOD分类器是否通过解耦零样本学习与有监督分类任务，从而提升GZSL性能？
• RQ4 该方法对潜在空间维度和超参数的变化具有多强的鲁棒性？
• RQ5 该OOD分类器能否与现有最先进ZSL方法有效结合？

主要发现

• 所提方法在使用完整目标函数时，在AWA1上达到85.9%的AUC，在CUB上达到75.9%，显著优于消融实验变体。
• 同时包含对比损失（$L_{cr}$）和分类损失（$L_{cls}$）时，OOD检测性能最佳，AWA1上的AUC从81.5%提升至85.9%。
• 该方法在不同超参数设置下表现稳定，AUC在各种$α$和$β$设置下均保持较高水平。
• 最优潜在空间维度为128，此时AWA1上的AUC达到峰值85.9%，CUB上为75.9%，超过此维度后无进一步增益。
• 通过t-SNE可视化证实，未见特征均匀分布在已见类别有界流形之外，验证了OOD检测机制的有效性。
• 该方法在五个基准数据集（AWA1、AWA2、CUB、FLO和SUN）上均达到最先进性能，展现出良好的泛化能力和鲁棒性。