[论文解读] Deep CNN-based Multi-task Learning for Open-Set Recognition

Poojan Oza, Vishal M. Patel|arXiv (Cornell University)|Mar 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用 22

一句话总结

本文提出 MLOSR，一种基于深度卷积神经网络的多任务学习框架，用于开放集识别，通过联合训练分类器、特征提取器和重建解码器实现。通过利用重建误差和极值理论检测未知样本，MLOSR 实现了最先进性能，在 TinyImageNet 上 AUROC 提升最高达 5%，在 OOD 检测中相比基线方法平均 F1 分数提升 16.45%。

ABSTRACT

We propose a novel deep convolutional neural network (CNN) based multi-task learning approach for open-set visual recognition. We combine a classifier network and a decoder network with a shared feature extractor network within a multi-task learning framework. We show that this approach results in better open-set recognition accuracy. In our approach, reconstruction errors from the decoder network are utilized for open-set rejection. In addition, we model the tail of the reconstruction error distribution from the known classes using the statistical Extreme Value Theory to improve the overall performance. Experiments on multiple image classification datasets are performed and it is shown that this method can perform significantly better than many competitive open set recognition algorithms available in the literature. The code will be made available at: github.com/otkupjnoz/mlosr.

研究动机与目标

• 解决深度卷积神经网络在开放集条件下识别未知类别时的局限性。
• 通过结合分类任务与基于重建的异常检测，提升开放集识别性能。
• 利用极值理论对已知类别的重建误差尾部分布进行建模，以实现更优的未知样本拒收。
• 构建统一的多任务学习框架，增强对已知类与未知类的特征学习能力。

提出的方法

• 在多任务学习设置中，共享特征提取网络同时服务于分类器网络与解码器网络。
• 解码器网络从共享特征中重建输入图像，重建误差被用作未知类别检测的异常分数。
• 应用极值理论对已知类别重建误差分布的尾部分布进行建模，以设定最优拒收阈值。
• 模型采用端到端训练方式，损失函数综合平衡分类与重建目标。
• 在多个数据集（包括 CIFAR-10、CIFAR+10、CIFAR+50 和 TinyImageNet）上，基于开放集与 OOD 检测协议对框架进行评估。
• 方法采用 VGGNet 和 DenseNet 作为主干网络，并与当前最先进基线方法（如 CROSR 和 DHRNet）进行比较。

实验结果

研究问题

• RQ1 使用共享特征提取器的多任务学习是否能提升深度卷积神经网络在开放集识别中的性能？
• RQ2 来自解码器网络的重建误差在检测未知类别样本方面是否有效？
• RQ3 通过建模重建误差的尾部分布，极值理论能否增强开放集拒收的鲁棒性？
• RQ4 所提出的 MLOSR 框架是否在开放集识别与 OOD 检测中均优于现有最先进方法？
• RQ5 该方法是否能在具有不同领域偏移与类别不平衡程度的多样化数据集上实现良好泛化？

主要发现

• 在具有挑战性的 TinyImageNet 数据集上，MLOSR 相较于次优方法 CROSR，AUROC 提升 5%。
• 在 OOD 检测中，使用 VGGNet 主干的 MLOSR 在 ImageNet-crop 上 F1 分数提升 11.6%，在 LSUN-resize 上提升 19.8%。
• 采用 DenseNet 主干时，MLOSR 在所有 OOD 基准测试中，平均 F1 分数相比次优方法提升 16.45%。
• MLOSR 相较于此前最先进方法 DHRNet+CROSR，在 OOD 检测中平均提升 12.25%。
• 在数字图像数据集上，MLOSR 表现几乎与最佳性能方法 CROSR 相当，表明其在简单与复杂数据集之间均具备强大泛化能力。