[论文解读] Generative OpenMax for Multi-Class Open Set Classification

Zongyuan Ge, Sergey Demyanov+2 more|arXiv (Cornell University)|Jul 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用 54

一句话总结

该论文提出 Generative OpenMax (G-OpenMax)，它使用 GAN 生成的样本来显式建模并检测多类开放集分类中的未知类别，在 MNIST 和 HASYv2 上优于 OpenMax，并能够可视化未知样本。

ABSTRACT

We present a conceptually new and flexible method for multi-class open set classification. Unlike previous methods where unknown classes are inferred with respect to the feature or decision distance to the known classes, our approach is able to provide explicit modelling and decision score for unknown classes. The proposed method, called Gener- ative OpenMax (G-OpenMax), extends OpenMax by employing generative adversarial networks (GANs) for novel category image synthesis. We validate the proposed method on two datasets of handwritten digits and characters, resulting in superior results over previous deep learning based method OpenMax Moreover, G-OpenMax provides a way to visualize samples representing the unknown classes from open space. Our simple and effective approach could serve as a new direction to tackle the challenging multi-class open set classification problem.

研究动机与目标

• 通过显式建模未知类别，激发超越封闭集假设的开放集识别。
• 扩展 OpenMax，以提供未知类别的显式概率估计。
• 使用 GAN 生成的样本表示合理的未知项并相应地校准分数。
• 在 MNIST 和 HASYv2 上进行评估，以在不同开放度下评估开放集识别的增益。

提出的方法

• 通过使用 GAN 生成的样本来训练带有额外未知类的分类器，扩展 OpenMax。
• 使用条件生成对抗网络从已知类别潜在子空间的混合中合成合理的未知类别图像。
• 选择被预训练分类器错误分类的生成样本，将其标注为未知以用于训练 Net^G。
• 训练 Net^G，使其产生包含未知类别额外维度的激活向量，从而实现显式未知概率估计。
• 对激活分数拟合 Weibull 模型，并使用 OpenMax 风格的重新加权进行校准，从而得到已知类的 Prob(y|x) 和未知类的 Prob(unknown|x)。
• 在推理阶段，重新校准激活并设定阈值以决定已知与未知。

实验结果

研究问题

• RQ1 通过合成样本对未知类别进行显式建模，是否能提升多类开放集识别？
• RQ2 基于 GAN 的未知样本合成如何影响开放集分类中的校准和决策边界？
• RQ3 混合已知类别潜在表示以生成合理的未知样本对开放空间风险有何影响？
• RQ4 G-OpenMax 对 EVT 基于的校准中的开放性和尾部大小选择是否具有鲁棒性？
• RQ5 G-OpenMax 能否有效可视化具有代表性的未知类别样本以辅助决策？

主要发现

• G-OpenMax 在 MNIST 和 HASYv2 上在各开放度水平上持续优于 OpenMax 的开放集识别。
• 使用 GAN 合成的未知样本实现非伪概率估计并获得显式未知类别分数。
• 在评估设置的最优阈值下，G-OpenMax 的准确率比 OpenMax 高约 10 个百分点。
• 消融研究表明基于 GAN 的样本在尾部大小变化时提升未知类别的准确性和校准。
• 定性分析可视化了混合生成的样本，类似于训练子空间中的合理未知样本。
• G-OpenMax 对已知类别检测的大尾部 Weibull 尾部大小具有鲁棒性，同时保持整体性能。