[论文解读] Learning a Neural-network-based Representation for Open Set Recognition

Mehadi Hassen, Philip K. Chan|arXiv (Cornell University)|Feb 12, 2018

Anomaly Detection Techniques and Applications被引用 8

一句话总结

本文提出了一种基于神经网络的表示学习方法，通过使同类别实例聚类更紧密，不同类别实例相互远离，从而实现有效的开放集识别。通过引入一种新颖的损失函数，使训练与推理阶段的距离度量保持一致，该方法在恶意软件和图像数据集上相较于基线方法和OpenMax实现了统计上显著的性能提升。

ABSTRACT

Open set recognition problems exist in many domains. For example in security, new malware classes emerge regularly; therefore malware classification systems need to identify instances from unknown classes in addition to discriminating between known classes. In this paper we present a neural network based representation for addressing the open set recognition problem. In this representation instances from the same class are close to each other while instances from different classes are further apart, resulting in statistically significant improvement when compared to other approaches on three datasets from two different domains.

研究动机与目标

• 解决开放集识别中的挑战，即在测试阶段出现未知类别，特别是在恶意软件分类等安全领域。
• 克服传统分类器将未知实例误分类为已知类别的局限性。
• 开发一种基于深度学习的表示方法，能够天然支持已知类别的分类与未知类别的检测。
• 通过学习一个类间距离最大化、类内紧凑性被强制的特征空间，实现对新类别的鲁棒检测。
• 提供一个统一框架，使用单一距离函数同时用于训练和异常值评分，提升一致性和性能。

提出的方法

• 使用一种新颖的损失函数训练深度神经网络，以在学习到的表示空间中促进类内紧凑性和类间分离。
• 在训练和推理阶段均使用组合距离度量——归一化欧氏距离与余弦距离的加权组合——以保证一致性。
• 提出一种基于污染率（0.01）的阈值估计技术，利用与类别原型的距离识别未知类别实例。
• 在所有层中应用批量归一化和Dropout进行正则化，非线性层使用ReLU激活函数。
• 使用Adam优化器进行网络训练，超参数设置为：学习率0.001，beta1=0.5，beta2=0.999，在MNIST数据集上训练5000轮，在Android/MS Challenge数据集上训练10,000轮。
• 为进行比较，评估相同架构在标准交叉熵损失（ce）、实例级损失（ii）和联合损失（ii+ce）下的表现，并与使用相同主干网络的OpenMax进行对比。

实验结果

研究问题

• RQ1 能否学习到一种神经网络表示，使得同类别实例更接近，不同类别实例更远离，从而提升开放集识别性能？
• RQ2 与使用独立度量相比，是否使用统一的距离函数同时用于训练和异常值评分能提升检测性能？
• RQ3 所提出的损失函数与标准交叉熵损失和实例级损失相比，在开放集识别准确率方面表现如何？
• RQ4 该方法是否能在包括恶意软件和图像识别在内的多个领域中泛化，而不仅限于原始训练数据？
• RQ5 基于污染率的阈值估计技术是否能有效识别未知类别实例，而无需依赖标注的异常样本？

主要发现

• 所提方法在三个不同数据集（MNIST、MS Challenge（恶意软件）、Android恶意软件）上，相较于标准交叉熵训练和OpenMax，均实现了统计上显著的性能提升。
• 结合实例级损失与交叉熵损失的ii+ce损失变体，在开放集识别性能上优于单一损失和OpenMax。
• 在训练和推理阶段使用统一的距离度量，显著提升了所有评估数据集上异常值检测的一致性和可靠性。
• 该方法在保持良好闭集分类性能的同时，能够有效检测未知类别。
• 基于污染率（0.01）的阈值估计方法能有效识别未知实例，且无需额外标注数据。
• 该方法在不同领域间具有良好的泛化能力，在图像识别和恶意软件分类任务中均表现出色。