[论文解读] Hardness Sampling for Self-Training Based Transductive Zero-Shot Learning

Bo Liu, Qiulei Dong+1 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 50被引用 5

一句话总结

本文提出 STHS，一种用于归纳零样本学习（T-ZSL）的自训练框架，结合难度采样机制，通过基于预测频率和先验归一化频率迭代选择多样且难以分类的未见类别样本，显著提升性能。该方法在三个基准数据集上显著优于当前最先进方法，并在更严格的 T-GZSL 评估设置下建立了具有竞争力的基线。

ABSTRACT

Transductive zero-shot learning (T-ZSL) which could alleviate the domain shift problem in existing ZSL works, has received much attention recently. However, an open problem in T-ZSL: how to effectively make use of unseen-class samples for training, still remains. Addressing this problem, we first empirically analyze the roles of unseen-class samples with different degrees of hardness in the training process based on the uneven prediction phenomenon found in many ZSL methods, resulting in three observations. Then, we propose two hardness sampling approaches for selecting a subset of diverse and hard samples from a given unseen-class dataset according to these observations. The first one identifies the samples based on the class-level frequency of the model predictions while the second enhances the former by normalizing the class frequency via an approximate class prior estimated by an explored prior estimation algorithm. Finally, we design a new Self-Training framework with Hardness Sampling for T-ZSL, called STHS, where an arbitrary inductive ZSL method could be seamlessly embedded and it is iteratively trained with unseen-class samples selected by the hardness sampling approach. We introduce two typical ZSL methods into the STHS framework and extensive experiments demonstrate that the derived T-ZSL methods outperform many state-of-the-art methods on three public benchmarks. Besides, we note that the unseen-class dataset is separately used for training in some existing transductive generalized ZSL (T-GZSL) methods, which is not strict for a GZSL task. Hence, we suggest a more strict T-GZSL data setting and establish a competitive baseline on this setting by introducing the proposed STHS framework to T-GZSL.

研究动机与目标

• 为解决归纳零样本学习（T-ZSL）中的开放问题：如何有效利用未见类别样本进行训练。
• 探究不同分类难度的未见类别样本在提升 ZSL 模型性能中的作用。
• 提出一种更严格的归纳广义零样本学习（T-GZSL）数据设置，其中在训练和测试阶段，已知类与未见类无法区分。
• 设计一种灵活的自训练框架 STHS，可无缝集成任意归纳 ZSL 方法与难度采样机制，实现迭代优化。
• 基于所提出的 STHS 框架，在新严格评估协议下建立 T-GZSL 的具有竞争力的基线。

提出的方法

• 该方法通过分析初始 ZSL 模型在未见类别数据上的类别级预测频率，识别出困难样本。
• 提出一种先验估计算法，以近似真实类别先验，并利用该估计值对预测频率进行归一化，以提升样本选择质量。
• 提出两种难度采样策略：CFBS（基于类别频率的采样）与 PN-CFBS（先验归一化的 CFBS），优先选择被低频预测的困难类别中的样本。
• STHS 框架可集成任意归纳 ZSL 方法，并利用从未见类别集合中选出的困难样本进行迭代自训练。
• 通过在已知类与未见类合并的测试集上进行训练，将框架推广至 T-GZSL，其中模型必须在不预先知晓类别身份的情况下同时预测两类。
• 在广义设置中使用基于 WGAN 的模型作为基础模型，由此产生的方法命名为 STHS-GZSL。

实验结果

研究问题

• RQ1 在归纳训练过程中，来自不同未见类别的样本（按分类难度划分）如何贡献于提升 ZSL 模型性能？
• RQ2 模型预测的频率与先验归一化频率能否有效用于识别适合自训练的困难且多样化的未见类别样本？
• RQ3 自训练在 T-ZSL 中的性能是否依赖于先验估计的质量，尤其是在长尾分布或类别数量较多的数据集中？
• RQ4 当测试集未预先划分为已知类与未见类时，T-ZSL 方法的性能如何退化？能否在此更严格设置下建立稳健的基线？
• RQ5 所提出的 STHS 框架能否推广至 T-GZSL，并在新评估协议下实现优于现有方法的性能？

主要发现

• 在严格 T-GZSL 设置下，STHS 框架结合 PN-CFBS 采样在 AWA2 上达到 91.4% 的准确率，显著优于基线 WGAN（87.5%）和 ST-WGAN-RS（75.1%）。
• 在 AWA2 数据集上，PN-CFBS 相较于 CFBS 提升 2.5 个百分点，证明在长尾分布设置下先验归一化的有效性。
• STHS 框架结合 CFBS 在 AWA2 上达到 88.9% 的准确率，在 WGAN 上达到 89.8%，在所有三个基准数据集上均超越多个最先进方法。
• 在严格 T-GZSL 设置下，STHS-GZSL 在 AWA2 上达到 85.4% 的准确率，优于 ST-WGAN-RS（75.1%），且在评估协议更严格的情况下仍表现出鲁棒性。
• 在 CUB 和 SUN 数据集上，PN-CFBS 的性能略逊于 CFBS，表明在类别数量多、每类样本少的数据集中，先验估计更具挑战性。
• 结果证实，来自被低频预测类别的困难样本对自训练更有效，且困难类别之间的多样性可进一步提升模型泛化能力。