[论文解读] Learning to Separate Domains in Generalized Zero-Shot and Open Set Learning: a probabilistic perspective

Hanze Dong, Yanwei Fu+4 more|arXiv (Cornell University)|Sep 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 47被引用 6

一句话总结

本文提出了一种概率域划分框架，能够在线性零样本学习和开放集学习中学习将测试实例划分为已知域、未知域和不确定域。通过利用自助法（bootstrapping）和柯尔莫哥洛夫-斯米尔诺夫检验（Kolmogorov-Smirnov test）来估计并微调决策边界，该方法通过显式建模不确定性并增强已知类与未见类之间的判别能力，在基准数据集上实现了最先进性能。

ABSTRACT

This paper studies the problem of domain division which aims to segment instances drawn from different probabilistic distributions. Such a problem exists in many previous recognition tasks, such as Open Set Learning (OSL) and Generalized Zero-Shot Learning (G-ZSL), where the testing instances come from either seen or novel/unseen classes of different probabilistic distributions. Previous works focused on either only calibrating the confident prediction of classifiers of seen classes (W-SVM), or taking unseen classes as outliers. In contrast, this paper proposes a probabilistic way of directly estimating and fine-tuning the decision boundary between seen and novel/unseen classes. In particular, we propose a domain division algorithm of learning to split the testing instances into known, unknown and uncertain domains, and then conduct recognize tasks in each domain. Two statistical tools, namely, bootstrapping and Kolmogorov-Smirnov (K-S) Test, for the first time, are introduced to discover and fine-tune the decision boundary of each domain. Critically, the uncertain domain is newly introduced in our framework to adopt those instances whose domain cannot be predicted confidently. Extensive experiments demonstrate that our approach achieved the state-of-the-art performance on OSL and G-ZSL benchmarks.

研究动机与目标

• 为解决广义零样本学习与开放集学习中测试实例来自不同概率分布时，难以区分已知类与未见类的问题。
• 克服先前方法的局限性，这些方法要么仅对已知类预测进行校准，要么将未见类视为异常值但缺乏显式的域建模。
• 引入一种新型的不确定域，以捕捉无法被可靠分配类别的实例，从而提升模型鲁棒性。
• 开发一种概率框架，直接估计并微调已知域与未知域之间的决策边界。
• 通过将测试空间划分为不同域并为各域应用定制化分类策略，提升识别性能。

提出的方法

• 该方法引入三域划分：已知域（已知类别）、未知域（新/未见类别）和不确定域（模糊实例），以更好地建模测试时的分布偏移。
• 使用自助法估计已知类别分类器得分的抽样分布，从而实现可靠的置信度估计。
• 应用柯尔莫哥洛夫-斯米尔诺夫（K-S）检验，统计比较已知类别得分的经验分布与候选未知实例得分分布，以检测分布差异。
• 利用K-S检验的p值对已知域与未知域之间的决策边界进行微调，以优化分离效果并最小化误报。
• 不确定域动态定义为：在K-S检验无法可靠地将实例分类为已知或未知的置信区间内的实例。
• 在每个域中分别执行识别：已知域与未知域使用标准分类方法，而不确定实例则被拒绝或通过专门的不确定性感知策略处理。

实验结果

研究问题

• RQ1 在零样本学习与开放集学习设置下，如何有效将测试实例划分为已知域、未知域和不确定域？
• RQ2 自助法与柯尔莫哥洛夫-斯米尔诺夫检验能否有效结合，以估计并优化已知类与未见类之间的决策边界？
• RQ3 引入显式不确定域对开放集学习与广义零样本学习中的分类性能与鲁棒性有何影响？
• RQ4 所提出的概率域划分框架与仅对已知类预测进行校准或将未见类视为异常值的现有方法相比，表现如何？
• RQ5 该方法在保持已知类高准确率的同时，能在多大程度上提升泛化能力并减少对未见类的误分类？

主要发现

• 所提方法在广义零样本学习与开放集学习的标准基准数据集上实现了最先进性能。
• 显式引入不确定域显著提升了鲁棒性，能够捕捉原本可能被误分类的模糊实例。
• 自助法的使用实现了对分类器置信度的可靠估计，降低了对已知类预测的过度自信。
• 柯尔莫哥洛夫-斯米尔诺夫检验提供了一种统计上可靠的手段，用于检测已知类与未见类之间的分布偏移，从而实现决策边界的精细调整。
• 该框架通过有效分离已知域与未知域，展现出优越的泛化能力，显著提升了F1分数并降低了未见类的错误率。
• 实证结果表明，概率域划分与不确定性感知处理的结合，可在多个数据集与设置下持续带来性能提升。