[论文解读] Adversarial Motorial Prototype Framework for Open Set Recognition

Ziheng Xia, Penghui Wang+2 more|arXiv (Cornell University)|Jul 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 26被引用 10

一句话总结

本文提出了运动原型框架（MPF）及其对抗性扩展AMPF++，用于开放集识别，通过动态边缘约束增强特征紧凑性，从而降低经验风险与开放空间风险。该方法在MNIST、CIFAR和ImageNet基准测试中表现优于最先进模型，尤其在大规模和复杂未知类别设置下优势显著。

ABSTRACT

Open set recognition is designed to identify known classes and to reject unknown classes simultaneously. Specifically, identifying known classes and rejecting unknown classes correspond to reducing the empirical risk and the open space risk, respectively. First, the motorial prototype framework (MPF) is proposed, which classifies known classes according to the prototype classification idea. Moreover, a motorial margin constraint term is added into the loss function of the MPF, which can further improve the clustering compactness of known classes in the feature space to reduce both risks. Second, this paper proposes the adversarial motorial prototype framework (AMPF) based on the MPF. On the one hand, this model can generate adversarial samples and add these samples into the training phase; on the other hand, it can further improve the differential mapping ability of the model to known and unknown classes with the adversarial motion of the margin constraint radius. Finally, this paper proposes an upgraded version of the AMPF, AMPF++, which adds much more generated unknown samples into the training phase. In this paper, a large number of experiments prove that the performance of the proposed models is superior to that of other current works.

研究动机与目标

• 通过同时最小化经验风险（已知类别分类）与开放空间风险（未知类别拒识）来应对开放集识别（OSR）的挑战。
• 提升嵌入空间中已知类别特征的紧凑性，减少与未知类别特征的重叠。
• 通过使用合成未知样本的对抗性训练，增强模型对已知与未知类别之间差异映射的能力。
• 开发一种在大规模已知类别设置与多样化未知类别分布下均有效且可扩展的鲁棒框架。

提出的方法

• 提出运动原型框架（MPF），在损失函数中引入类别原型与一种新颖的运动边缘约束项，以增强特征空间中聚类的紧凑性。
• 引入边缘约束半径R的对抗性运动：增大R可加强已知类别聚类（降低经验风险），减小R则推动未知特征趋向开放空间边界（降低开放空间风险）。
• 采用对抗性样本生成技术，通过合成未知数据增强训练，提升模型对分布外样本的检测能力。
• 开发AMPF++，即AMPF的增强版本，通过在训练过程中增加生成的未知样本数量，进一步抑制开放空间风险。
• 在特征空间中采用原型的对称分布，以最大化空间利用率并提升泛化能力。
• 采用ResNet-18与ResNet-50作为主干分类器，在MNIST、KMNIST、SVHN、CIFAR-10、CIFAR-100以及ImageNet（已知/未知划分）上进行评估。

实验结果

研究问题

• RQ1 基于原型的框架结合动态边缘约束，能否有效降低开放集识别中的经验风险与开放空间风险？
• RQ2 对抗性生成未知样本在多大程度上提升了模型区分已知与未知类别能力？
• RQ3 边缘半径R的对抗性运动在多大程度上增强了模型对已知与未知类别之间差异映射的能力？
• RQ4 MPF与AMPF++在已知类别数量不断增加的数据集上性能如何扩展？
• RQ5 特征空间中原型的对称分布是否有助于提升鲁棒性并降低开放空间风险？

主要发现

• 在ImageNet-100与ImageNet-200上，AMPF++在AUROC与OSCR指标上均优于ARPL及其他SOTA方法。
• 在ImageNet-O中（所有1000个ImageNet类别均视为已知），AMPF++在OSCR与AUROC上均达到最高，展现出对复杂未知分布的强大泛化能力。
• MPF在降低经验风险与开放空间风险方面，较GCPL、RPL与ARPL更为有效；特征空间可视化显示，已知类别聚类更紧凑，且与未知类别重叠更少。
• 当已知类别数（K）从2增至10时，MPF保持优异性能，且已知与未知类别间的重叠显著减少，尤其在KMNIST上表现突出。
• 动态边缘约束（R的对抗性运动）实现了两种风险的交替降低，证明其优于单一模式的风险最小化策略。
• 可视化结果证实，原型、特征与特征空间中心大致位于一条直线上，验证了距离约束的几何设计合理性。