[论文解读] Collaboratively Weighting Deep and Classic Representation via L2 Regularization for Image Classification

Shaoning Zeng, Bob Zhang+2 more|arXiv (Cornell University)|Feb 21, 2018

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文提出 DeepCWC，一种新颖的图像分类方法，通过 $l_2$-正则化协同表示，协同加权深度卷积神经网络（CNN）特征与经典线性表示。通过学习协同权重融合来自两种表示的距离向量，该方法实现了最先进性能，包括在 Fashion-MNIST 上达到 97.66% 的准确率，优于基于 Wide ResNet 和其他最先进模型的方法。

ABSTRACT

Deep convolutional neural networks provide a powerful feature learning capability for image classification. The deep image features can be utilized to deal with many image understanding tasks like image classification and object recognition. However, the robustness obtained in one dataset can be hardly reproduced in the other domain, which leads to inefficient models far from state-of-the-art. We propose a deep collaborative weight-based classification (DeepCWC) method to resolve this problem, by providing a novel option to fully take advantage of deep features in classic machine learning. It firstly performs the L2-norm based collaborative representation on the original images, as well as the deep features extracted by deep CNN models. Then, two distance vectors, obtained based on the pair of linear representations, are fused together via a novel collaborative weight. This collaborative weight enables deep and classic representations to weigh each other. We observed the complementarity between two representations in a series of experiments on 10 facial and object datasets. The proposed DeepCWC produces very promising classification results, and outperforms many other benchmark methods, especially the ones claimed for Fashion-MNIST. The code is going to be published in our public repository.

研究动机与目标

• 解决深度特征在某一数据集上训练后无法泛化到其他数据集的领域偏移问题。
• 提升经典机器学习模型在使用预训练深度特征时的鲁棒性与性能。
• 探索线性模型（如 $l_2$-正则化协同表示）如何在统一分类框架中增强非线性深度特征。
• 证明通过协同加权结合深度与经典表示，可在多种 CNN 架构与数据集上实现更优且一致的性能。

提出的方法

• 在原始图像和从预训练 CNN 提取的深度特征上执行基于 $l_2$-范数的协同表示。
• 计算两个距离向量：一个来自原始图像的线性表示，另一个来自深度 CNN 特征的线性表示。
• 学习一种新型协同权重以融合两个距离向量，使深度与经典表示能够相互增强。
• 协同权重在训练过程中端到端优化，使模型能够学习每种表示对最终分类的贡献程度。
• 该方法应用于多种 CNN 架构（如 ResNet、Inception、VGG）及不同层（如 fc6、全局平均池化）以评估泛化能力。
• 分类器使用标准优化方法训练，不修改深度模型的网络结构，重点在于分类层面的特征融合。

实验结果

研究问题

• RQ1 $l_2$-正则化协同表示能否有效增强预训练深度特征在图像分类中的判别能力？
• RQ2 通过协同权重融合深度与经典表示，如何提升在不同数据集与网络架构上的泛化性能？
• RQ3 在使用相同预训练 CNN 特征时，该方法是否在挑战性基准（如 Fashion-MNIST）上优于最先进模型？
• RQ4 不同 CNN 层（如全局平均池化与全连接层）对协同融合框架性能有何影响？
• RQ5 仅通过简单的线性融合机制，是否可在不修改网络架构或调整深度模型超参数的情况下实现最先进结果？

主要发现

• 所提出的 DeepCWC 方法在 Fashion-MNIST 数据集上实现了 97.66% 的最先进准确率，超越了基于 Wide Residual Networks 的先前最先进方法。
• 该方法在所有测试的 CNN 架构（包括 ResNet、Inception 和 VGG）上均一致优于基线模型，在多个数据集上表现优异。
• 使用 VGG-16 的 fc6 层特征时性能最高，表明高维全连接特征在与经典表示融合后具有高度判别性。
• 在 Inception 和 ResNet 模型中，全局平均池化层产生的准确率高于其他层，表明其在提取类别级特征方面的有效性。
• 该方法在不修改深度网络架构或调整其超参数的情况下实现高性能，证明了融合机制的鲁棒性。
• 每张样本的推理时间在 0.1 至 0.2 秒之间，表明尽管融合了双重表示，仍具备高效的推理速度。