[论文解读] Hybrid Models for Open Set Recognition

Hongjie Zhang, Ang Li+2 more|arXiv (Cornell University)|Mar 27, 2020

Anomaly Detection Techniques and Applications参考文献 38被引用 7

一句话总结

本文提出 OpenHybrid，一种新颖的端到端框架，通过联合学习流模型密度估计器与判别分类器的共享潜在表征，以提升开放集识别性能。通过端到端联合训练编码器、分类器与归一化流模型，该方法能有效区分已知与未知类别，在 CIFAR10 与 SVHN 等基准数据集上实现最先进性能，AUROC 分数高达 0.998，并解决了流模型常将分布外样本分配更高似然值的常见问题。

ABSTRACT

Open set recognition requires a classifier to detect samples not belonging to any of the classes in its training set. Existing methods fit a probability distribution to the training samples on their embedding space and detect outliers according to this distribution. The embedding space is often obtained from a discriminative classifier. However, such discriminative representation focuses only on known classes, which may not be critical for distinguishing the unknown classes. We argue that the representation space should be jointly learned from the inlier classifier and the density estimator (served as an outlier detector). We propose the OpenHybrid framework, which is composed of an encoder to encode the input data into a joint embedding space, a classifier to classify samples to inlier classes, and a flow-based density estimator to detect whether a sample belongs to the unknown category. A typical problem of existing flow-based models is that they may assign a higher likelihood to outliers. However, we empirically observe that such an issue does not occur in our experiments when learning a joint representation for discriminative and generative components. Experiments on standard open set benchmarks also reveal that an end-to-end trained OpenHybrid model significantly outperforms state-of-the-art methods and flow-based baselines.

研究动机与目标

• 为解决现有开放集识别方法仅依赖判别特征的局限性，此类方法在检测未知类别时可能并非最优。
• 解决基于流模型的常见失败模式，即分布外样本被分配高于分布内样本的似然值。
• 通过在共享潜在空间中联合训练分类器与基于流的密度估计器，提升开放集识别性能。
• 通过实证验证，联合表征学习可稳定基于流的似然估计并增强异常值检测能力。

提出的方法

• OpenHybrid 框架由共享编码器、用于已知类别预测的分类头，以及用于似然计算的基于流的密度估计器组成。
• 模型通过在内点数据上使用最大似然估计，以及在分类任务上使用交叉熵损失，进行端到端训练。
• 编码器学习的潜在空间在分类器与流模型之间共享，从而实现判别与生成目标的联合优化。
• 基于流的模型使用可逆耦合层，在潜在空间中建模复杂且多模态的数据分布。
• 利用流模型输出的对数似然值设定阈值，以检测未知（分布外）样本。
• 该框架在标准开放集基准数据集（包括 MNIST、SVHN、CIFAR10 和 TinyImageNet）上进行评估。

实验结果

研究问题

• RQ1 联合训练判别分类器与基于流的密度估计器是否能提升开放集识别性能？
• RQ2 学习共享表征是否能缓解流模型将更高似然值分配给分布外样本的问题？
• RQ3 端到端训练与使用微调的预训练编码器搭配微调流模型相比，表现如何？
• RQ4 该模型能否在 CIFAR10 与 SVHN 等复杂数据集上实现高 AUROC 的开放集检测性能？

主要发现

• OpenHybrid 模型在标准开放集基准上实现最先进性能，在 CIFAR10（已知类）与 SVHN（未知类）设置下 AUROC 达 0.998。
• 端到端训练的 OpenHybrid 模型成功在潜在空间中将未知样本（如 MNIST 中的数字 6–9）与已知类别分离，t-SNE 可视化结果清晰显示了这一点。
• 该模型解决了流模型常出现的问题：即在基线 DIGLM 模型甚至经过 OE 增强的版本中，分布外样本被分配更高似然值。
• 消融实验表明，联合训练至关重要；使用预训练编码器的模型在已知与未知分布之间的分离程度较低。
• 在不同流模型深度配置（4 至 16 个残差块）下，性能保持稳定，表明对架构超参数具有鲁棒性。