[论文解读] Extreme Value Theory for Open Set Classification -- GPD and GEV Classifiers

Edoardo Vignotto, Sebastian Engelke|arXiv (Cornell University)|Aug 29, 2018

Anomaly Detection Techniques and Applications参考文献 37被引用 13

一句话总结

本文提出两种基于极值理论（EVT）的新型无核开放集分类器——GPD分类器与GEV分类器，通过建模类间距离的尾部分布来检测未知类别。与依赖类别几何结构且在几何误导时失效的极端值机器（EVM）不同，这些方法利用渐近EVT近似，稳健地将远离已知类别的点识别为异常值，实现了具有极少超参数和快速推理的竞争力性能。

ABSTRACT

Classification tasks usually assume that all possible classes are present during the training phase. This is restrictive if the algorithm is used over a long time and possibly encounters samples from unknown classes. The recently introduced extreme value machine, a classifier motivated by extreme value theory, addresses this problem and achieves competitive performance in specific cases. We show that this algorithm can fail when the geometries of known and unknown classes differ. To overcome this problem, we propose two new algorithms relying on approximations from extreme value theory. We show the effectiveness of our classifiers in simulations and on the LETTER and MNIST data sets.

研究动机与目标

• 解决现有开放集分类器在已知类别与未知类别几何结构错位时失效的局限性。
• 开发不依赖已知类别几何结构的鲁棒、可增量更新的开放集分类方法。
• 利用单变量极值理论建模测试样本与训练数据之间距离的尾部分布。
• 最小化超参数依赖，以支持在终身学习场景中的实际部署。
• 确保计算效率与可扩展性，适用于需检测未知类别的现实应用。

提出的方法

• 使用极值理论（EVT）建模测试样本与已知类别之间距离的分布，以检测异常值。
• 在GPDC中使用广义帕累托分布（GPD）建模类间距离的上尾部分布。
• 在GEVC中应用广义极值（GEV）分布建模最大距离统计量。
• 基于拟合的GPD或GEV分布的分位数定义分类阈值，以区分已知类别与未知类别。
• 仅使用一个或零个超参数（如GPDC中的k，通过EVT原理选择），降低调参复杂度。
• 通过仅在新训练数据到达时更新极端距离统计量，确保方法具备增量可适应性。

实验结果

研究问题

• RQ1 基于EVT的类间距离尾部分布建模，是否能在类别几何结构具有误导性时提升开放集分类的鲁棒性？
• RQ2 在几何错位条件下，GPDC与GEVC相较于EVM和单分类SVM在检测未知类别方面的表现如何？
• RQ3 基于EVT的分类器在超参数调优极少的情况下，性能可达到何种程度？
• RQ4 使用极端距离统计量是否能提升开放集识别在多样化数据分布下的泛化能力？
• RQ5 这些分类器是否能在无需重新训练的情况下，高效地在增量学习框架中更新？

主要发现

• 在甲状腺数据集上，GPDC与GEVC分别取得0.931与0.897的AUC分数，优于单分类SVM（AUC 0.912），并达到最先进性能水平。
• GPDC在k值范围（0.25%至10%的极端距离）内表现稳定，最优结果出现在小k值，与EVT理论一致。
• GEVC无需任何超参数，而GPDC仅需一个（k），使两者在实际部署中极具实用性。
• 由于无核设计与高效的EVT阈值设定，两种分类器在推理阶段均比EVM计算更快。
• 即使未知数据在几何上接近已知类别，这些方法仍保持有效，克服了EVM的关键失效模式。
• 关于样本距离形状参数的理论结果（定理4）支持向低密度区域外推，从而实现稳健的异常值检测。