[论文解读] Few-shot Open-set Recognition by Transformation Consistency

Minki Jeong, Seokeon Choi+1 more|arXiv (Cornell University)|Mar 2, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用 6

一句话总结

该论文提出SnaTCHer，一种新颖的少样本开放集识别方法，通过利用变换一致性，在不依赖伪未见样本的情况下检测未见类别样本。通过测量变换原型与一个修改后的原型集之间的差异（其中查询特征取代其预测类别原型），该方法提升了未见样本的检测性能，在多个少样本基准上实现了最先进水平的AUROC分数，同时未降低闭集分类性能。

ABSTRACT

In this paper, we attack a few-shot open-set recognition (FSOSR) problem, which is a combination of few-shot learning (FSL) and open-set recognition (OSR). It aims to quickly adapt a model to a given small set of labeled samples while rejecting unseen class samples. Since OSR requires rich data and FSL considers closed-set classification, existing OSR and FSL methods show poor performances in solving FSOSR problems. The previous FSOSR method follows the pseudo-unseen class sample-based methods, which collect pseudo-unseen samples from the other dataset or synthesize samples to model unseen class representations. However, this approach is heavily dependent on the composition of the pseudo samples. In this paper, we propose a novel unknown class sample detector, named SnaTCHer, that does not require pseudo-unseen samples. Based on the transformation consistency, our method measures the difference between the transformed prototypes and a modified prototype set. The modified set is composed by replacing a query feature and its predicted class prototype. SnaTCHer rejects samples with large differences to the transformed prototypes. Our method alters the unseen class distribution estimation problem to a relative feature transformation problem, independent of pseudo-unseen class samples. We investigate our SnaTCHer with various prototype transformation methods and observe that our method consistently improves unseen class sample detection performance without closed-set classification reduction.

研究动机与目标

• 解决少样本开放集识别（FSOSR）的挑战，即模型需仅使用少量标注样本对已见类别进行分类，并检测未见类别。
• 克服现有方法严重依赖伪未见样本质量与构成的局限性。
• 提出一种模型无关、无需伪未见样本的未知样本检测方法，适用于少样本场景。
• 在显著提升未知样本检测性能的同时，保持高闭集分类准确率。

提出的方法

• 提出SnaTCHer，一种基于变换一致性的检测器，通过将查询的预测原型替换为其自身特征后评估特征一致性。
• 使用任务自适应特征变换器构建保持特征间相对关系的变换原型空间。
• 在原型替换后，计算查询与其最近变换原型之间的归一化距离得分，以检测异常。
• 对原型应用多种变换方法——包括基于归一化的变换和基于度量的变换——以增强检测鲁棒性。
• 以标准少样本学习目标端到端训练特征提取器，而SnaTCHer作为推理阶段的即插即用检测器运行。
• 将变换引起的差异幅度作为置信度分数：差异越大，表示样本为未知类的可能性越高。

实验结果

研究问题

• RQ1 一个少样本开放集识别系统是否能在不依赖伪未见样本或对未见类别分布假设的前提下检测未知样本？
• RQ2 在低数据环境下，与直接基于距离的方法相比，变换一致性如何提升未知样本检测性能？
• RQ3 SnaTCHer在提升开放集检测性能的同时，对闭集分类准确率的保持程度如何？
• RQ4 在真实少样本场景中，当未知样本数量和分布发生变化时，SnaTCHer的鲁棒性如何？
• RQ5 当已见类别与未知类别来自不同数据分布时，SnaTCHer能否在领域迁移下保持泛化能力？

主要发现

• 在tieredImageNet-CUB 5-shot跨域FSOSR基准上，SnaTCHer实现了91.83%的最先进AUROC，显著优于PEELER。
• 在5-way 5-shot tieredImageNet基准上，SnaTCHer-L达到82.03% AUROC，较之前最佳方法（PEELER）提升超过6个百分点。
• SnaTCHer在保持高闭集分类准确率的同时提升未知检测性能，例如在tieredImageNet 5-way 1-shot上达到70.85%的准确率，未出现性能下降。
• 消融研究显示，该方法对未知样本数量的变化具有鲁棒性，不同未知数据配置下的性能保持稳定。
• 直方图分析表明，已知样本到其原型的归一化距离显著小于未知样本，验证了已知与未知特征空间可区分的假设。
• 利用变换一致性可增强已知与未知样本之间的分离度，从而获得优于直接距离评分方法的AUROC。