[论文解读] Adaptive Image Stream Classification via Convolutional Neural Network with Intrinsic Similarity Metrics

Yang Gao, Swarup Chandra+2 more|arXiv (Cornell University)|Sep 27, 2018

Data Stream Mining Techniques参考文献 20被引用 4

一句话总结

该论文提出CSIM，一种基于卷积神经网络和内在相似性度量的半监督多任务学习框架，用于在概念演化条件下实现自适应图像流分类。通过联合学习层次化特征与增强类别内聚性和类间分离性的度量空间，CSIM在真实世界图像流上的已知类别分类和新类别检测任务中均优于当前最先进方法。

ABSTRACT

When performing data classification over a stream of continuously occurring instances, a key challenge is to develop an open-world classifier that anticipates instances from an unknown class. Studies addressing this problem, typically called novel class detection, have considered classification methods that reactively adapt to such changes along the stream. Importantly, they rely on the property of cohesion and separation among instances in feature space. Instances belonging to the same class are assumed to be closer to each other (cohesion) than those belonging to different classes (separation). Unfortunately, this assumption may not have large support when dealing with high dimensional data such as images. In this paper, we address this key challenge by proposing a semisupervised multi-task learning framework called CSIM which aims to intrinsically search for a latent space suitable for detecting labels of instances from both known and unknown classes. Particularly, we utilize a convolution neural network layer that aids in the learning of a latent feature space suitable for novel class detection. We empirically measure the performance of CSIM over multiple realworld image datasets and demonstrate its superiority by comparing its performance with existing semi-supervised methods.

研究动机与目标

• 解决开放世界图像流分类中因新类别不可预测地出现而带来的新类别检测挑战。
• 克服现有方法在高维特征空间中依赖强全局类别内聚性和分离性假设的局限性。
• 开发一种半监督、多任务学习框架，联合优化特征提取与度量学习，以提升泛化能力。
• 通过学习保持内在相似性关系的潜在特征空间，实现对先前未见类别实例的有效检测。
• 在存在概念漂移和类别演化的流式条件下，于多个真实世界图像数据集上展示稳健性能。

提出的方法

• 使用卷积神经网络（CNN）从原始图像输入中提取高层级层次化特征。
• 引入度量学习组件，将CNN嵌入的特征转换到一个针对类别内聚性和类间分离性进行优化的潜在空间。
• 使用带边距的三元组损失，强制实现同一类别特征彼此更接近，而远离不同类别特征。
• 通过结合分类与度量学习的多任务目标，采用小批量随机梯度下降（MBGD）进行端到端训练。
• 实现一个仅含单层卷积的卷积开放世界分类器（Conv-OWC），以在性能与计算成本之间取得平衡。
• 在三元组损失中应用显著性水平阈值（γ）以控制不同类别之间的边距，防止过拟合。

实验结果

研究问题

• RQ1 基于深度学习的框架是否能在不依赖强全局内聚性与分离性假设的前提下，有效检测图像流中的新类别？
• RQ2 特征学习与度量学习的联合优化如何提升开放世界流式分类中的性能？
• RQ3 架构选择（如卷积层数量和隐藏单元数）对分类与新类别检测准确率有何影响？
• RQ4 所提出的度量学习组件在流式图像数据上的鲁棒性与效率方面，相较于现有方法表现如何？
• RQ5 在真实世界图像流中存在概念漂移与有限标注数据的情况下，该框架在多大程度上保持性能？

主要发现

• CSIM在多个真实世界图像数据集（包括FASHION-MNIST和CIFAR-10）上，于已知类别分类与新类别检测任务中均取得优越性能。
• 该框架显著降低了新类别检测的错误率，FASHION-MNIST上的平均F1得分达到0.82，CIFAR-10上为0.79，优于现有基线方法。
• 在Conv-OWC中使用单层卷积可实现最佳性能，因为更深网络带来的增益微乎其微，却显著增加了训练时间与资源消耗。
• 最优配置采用200个隐藏单元和边距显著性水平γ = 1.0，在不引发过拟合的前提下实现了准确率与泛化能力的平衡。
• 模型在GPU上部署时推理开销较低，GTX 1080 Ti上每轮平均训练时间为29.33秒。
• 敏感性分析表明，隐藏单元过少或边距值过大均会降低性能，验证了超参数调优的重要性。