[论文解读] Glocal Energy-based Learning for Few-Shot Open-Set Recognition

Haoyu Wang, Guansong Pang+4 more|arXiv (Cornell University)|Apr 24, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出了一种新型少样本开放集识别框架——全局-局部能量学习（Glocal Energy-based Learning, GEL），通过结合全局（类别级）与局部（像素级）特征表示来计算全局-局部能量得分。通过强制对在全局语义或细粒度外观上偏离已知类别的样本赋予高能量得分，GEL在三个基准数据集上实现了最先进性能，在封闭集准确率与开放集检测（AUROC）方面均优于现有方法。

ABSTRACT

Few-shot open-set recognition (FSOR) is a challenging task of great practical value. It aims to categorize a sample to one of the pre-defined, closed-set classes illustrated by few examples while being able to reject the sample from unknown classes. In this work, we approach the FSOR task by proposing a novel energy-based hybrid model. The model is composed of two branches, where a classification branch learns a metric to classify a sample to one of closed-set classes and the energy branch explicitly estimates the open-set probability. To achieve holistic detection of open-set samples, our model leverages both class-wise and pixel-wise features to learn a glocal energy-based score, in which a global energy score is learned using the class-wise features, while a local energy score is learned using the pixel-wise features. The model is enforced to assign large energy scores to samples that are deviated from the few-shot examples in either the class-wise features or the pixel-wise features, and to assign small energy scores otherwise. Experiments on three standard FSOR datasets show the superior performance of our model.

研究动机与目标

• 解决少样本开放集识别（FSOR）的挑战，即在仅提供少量样本的情况下对罕见类别进行分类，同时检测未知类别。
• 克服现有FSOR方法仅依赖类别级特征的局限性，这些方法在面对具有相似全局语义但局部细节不同的开放集样本时无法有效检测。
• 提出一个统一框架，通过双分支能量模型联合优化封闭集分类与开放集检测。
• 通过全局-局部能量评分机制，利用高层语义与细粒度空间特征，实现对开放集样本的整体检测。

提出的方法

• 提出双分支架构：一个分支用于基于类别级特征的封闭集分类，另一个分支用于结合类别级与像素级特征的开放集识别。
• 引入全局-局部能量得分，由基于类别级特征的全局能量得分与基于像素级特征的局部能量得分组成，用于检测与已知类别偏离的样本。
• 通过联合优化目标，强制模型为在全局语义或局部外观上发生偏离的样本分配大能量得分，其余样本则分配小得分。
• 通过可学习、固定或任务自适应的系数组合类别级与像素级能量得分，消融实验表明固定系数策略在开放集性能上表现最佳。
• 采用基于度量的原型学习策略，利用余弦相似度计算查询样本与支持集嵌入之间的特征距离。
• 应用基于边距的损失函数，以增强特征空间中已知与未知样本之间的分离度，提升开放集检测的鲁棒性。

实验结果

研究问题

• RQ1 在监督信息有限的条件下，统一模型能否有效平衡少样本分类与开放集检测？
• RQ2 同时引入全局（类别级）与局部（像素级）特征是否能提升对视觉上与已知类别相似但存在差异的未知样本的检测能力？
• RQ3 与仅使用全局或局部特征相比，全局-局部能量得分的组合如何影响开放集识别性能？
• RQ4 最优的类别级与像素级能量得分组合策略是什么？是固定系数、可学习系数，还是任务自适应系数？
• RQ5 所提方法对超参数选择（如k-最近邻选择中的k值、损失函数中的边距距离）的鲁棒性如何？

主要发现

• GEL在三个标准FSOR基准数据集（miniImageNet、tieredImageNet、CUB）上达到最先进性能，在5-way 5-shot设置下，miniImageNet上的准确率为83.05%，AUROC为82.29%。
• 在miniImageNet 5-way 1-shot设置下，GEL准确率达到83.00%，AUROC为80.67%，在开放集检测能力上优于先前方法。
• 消融研究显示，采用固定系数组合策略的全局-局部能量得分可获得最高AUROC（82.29%），优于可学习与任务自适应变体。
• 该方法对超参数选择具有鲁棒性：k-NN选择中不同k值下的AUROC波动仅0.08；较小的边距距离可进一步提升性能。
• 引入像素级特征使模型能够检测出在全局语义上相似但局部纹理或外观不同的开放集样本，而这是先前方法的失败案例。
• 双分支设计通过分离分类与能量估计分支，提升了泛化能力，所有设置下均在准确率与AUROC上取得一致提升。