[论文解读] Learning Placeholders for Open-Set Recognition

Da-Wei Zhou, Han-Jia Ye+1 more|arXiv (Cornell University)|Mar 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

该论文提出 Proser，一种新颖的开放集识别方法，通过学习数据占位符和分类器占位符来预测未知类别，并自适应地设置类别特定的决策阈值，从而增强闭集分类器。通过使用流形混合（manifold mixup）生成数据占位符，并为未知类别边界预留分类器占位符，Proser 在多种数据集上提升了未知样本检测与开放集识别性能，其自适应、分布感知的阈值优于基线方法。

ABSTRACT

Traditional classifiers are deployed under closed-set setting, with both training and test classes belong to the same set. However, real-world applications probably face the input of unknown categories, and the model will recognize them as known ones. Under such circumstances, open-set recognition is proposed to maintain classification performance on known classes and reject unknowns. The closed-set models make overconfident predictions over familiar known class instances, so that calibration and thresholding across categories become essential issues when extending to an open-set environment. To this end, we proposed to learn PlaceholdeRs for Open-SEt Recognition (Proser), which prepares for the unknown classes by allocating placeholders for both data and classifier. In detail, learning data placeholders tries to anticipate open-set class data, thus transforms closed-set training into open-set training. Besides, to learn the invariant information between target and non-target classes, we reserve classifier placeholders as the class-specific boundary between known and unknown. The proposed Proser efficiently generates novel class by manifold mixup, and adaptively sets the value of reserved open-set classifier during training. Experiments on various datasets validate the effectiveness of our proposed method.

研究动机与目标

• 解决在真实应用场景中，当闭集分类器暴露于未知类别时出现的过度自信预测问题。
• 通过在训练过程中不依赖显式未知类别数据，预测新类别分布，从而提升开放集识别性能。
• 通过专用占位符学习已知与未知类别之间的不变边界，对分类器进行校准。
• 实现自适应阈值设定，以应对不同新类别间分布偏移的影响。
• 通过数据和分类器占位符增强，将标准的闭集训练转化为开放集训练。

提出的方法

• 提出通过流形混合（manifold mixup）生成的数据占位符，用于模拟未知类别数据，使模型能从闭集数据中进行开放集训练。
• 预留分类器占位符作为可学习的、类别特定的阈值，以区分已知与未知样本。
• 端到端训练模型，同时引入数据占位符和分类器占位符，以校准置信度并提升对未知样本的泛化能力。
• 使用线性嵌入层将特征投影到二维空间，以可视化决策边界和阈值自适应性。
• 采用双路径学习策略：数据占位符用于分布预测，分类器占位符用于边界校准。
• 在推理过程中根据学习到的分类器占位符动态调整阈值，实现基于实例的拒绝决策。

实验结果

研究问题

• RQ1 通过流形混合（manifold mixup）生成的数据占位符能否有效模拟未知类别分布，从而提升开放集泛化性能？
• RQ2 将分类器占位符作为可学习阈值预留，是否能增强模型在不同分布偏移下检测未知类别的能力？
• RQ3 与直接对 softmax 概率进行阈值处理相比，数据占位符与分类器占位符的结合在开放集识别性能上表现如何？
• RQ4 所提出的方法能否自适应地设置考虑未知类别不同特性的类别特定阈值？
• RQ5 数据占位符与分类器占位符在性能校准与检测方面，各自及联合贡献程度如何？

主要发现

• Proser 在多个数据集（包括 CIFAR-100 和 MNIST）的开放集识别任务中，显著优于标准 softmax 阈值法和基线方法。
• 消融实验表明，数据占位符（通过流形混合生成）和分类器占位符（虚拟分类器）均能独立提升性能，且二者结合时产生协同效应。
• 使用多个虚拟分类器（C > 1）可进一步提升检测性能，表明占位符表示的多样性可增强模型鲁棒性。
• 决策边界可视化显示，Proser 学习到自适应的、基于实例的阈值，即使新类别分布显著不同，也能有效分离已知与未知类别。
• 该方法在不同开放度水平（29.29% 至 61.28%）下均保持强劲性能，表明对未知类别数量增加具有鲁棒性。
• Proser 有效缓解了预测中的过度自信问题，表现为校准性能提升及对分布外样本的检测能力增强。