[论文解读] Ensemble Soft-Margin Softmax Loss for Image Classification

Xiaobo Wang, Shifeng Zhang+4 more|arXiv (Cornell University)|May 10, 2018

Advanced Neural Network Applications参考文献 25被引用 6

一句话总结

本文提出了一种新型损失函数——集成软边界Softmax（EM-Softmax），通过结合软边界Softmax以提升特征可分性，以及利用希尔伯特-施密特独立性准则（HSIC）的弱分类器集成方法，实现更强的决策边界。EM-Softmax在CIFAR-10和CIFAR-100上实现了最先进性能，且模型参数量更小、训练时间更短，优于模型平均或基于Dropout的集成方法。

ABSTRACT

Softmax loss is arguably one of the most popular losses to train CNN models for image classification. However, recent works have exposed its limitation on feature discriminability. This paper casts a new viewpoint on the weakness of softmax loss. On the one hand, the CNN features learned using the softmax loss are often inadequately discriminative. We hence introduce a soft-margin softmax function to explicitly encourage the discrimination between different classes. On the other hand, the learned classifier of softmax loss is weak. We propose to assemble multiple these weak classifiers to a strong one, inspired by the recognition that the diversity among weak classifiers is critical to a good ensemble. To achieve the diversity, we adopt the Hilbert-Schmidt Independence Criterion (HSIC). Considering these two aspects in one framework, we design a novel loss, named as Ensemble soft-Margin Softmax (EM-Softmax). Extensive experiments on benchmark datasets are conducted to show the superiority of our design over the baseline softmax loss and several state-of-the-art alternatives.

研究动机与目标

• 解决标准Softmax损失的双重局限：在深度卷积神经网络中，特征可分性差且分类器学习能力弱。
• 通过引入显式促进类间分离的软边界Softmax函数，提升特征的可分性。
• 通过集成从相同模型架构中训练出的多个弱分类器，增强整体分类器性能。
• 利用希尔伯特-施密特独立性准则（HSIC）确保弱分类器之间的多样性，以实现高效的集成学习。
• 在模型参数量和训练成本方面，优于模型平均或基于Dropout的集成策略，同时实现更高的准确率。

提出的方法

• 设计一种软边界Softmax函数，通过引入一个边界参数来修改标准Softmax，以增强特征空间中的类间分离。
• 通过使用不同的随机权重初始化，从同一主干网络训练多个弱分类器，以生成多样化的基模型。
• 将希尔伯特-施密特独立性准则（HSIC）作为正则化项，以最大化弱分类器输出之间的统计独立性，从而促进集成中的多样性。
• 通过联合损失函数优化集成模型，该损失函数结合交叉熵损失与HSIC正则化项，实现端到端的模型训练。
• 将集成策略无缝集成到标准Softmax训练流程中，无需改变网络架构，保持与现有CNN框架的兼容性。
• 通过在单个网络中对每个批次执行多次前向传播，模拟集成效果，从而降低内存占用与推理开销。

实验结果

研究问题

• RQ1 软边界Softmax函数是否能提升卷积神经网络在图像分类任务中特征的可分性？
• RQ2 从相同模型架构中训练出的多个弱分类器进行集成，是否能形成更强的总体分类器？
• RQ3 基于HSIC的正则化是否能有效促进集成中弱分类器之间的多样性？
• RQ4 与模型平均和基于Dropout的集成方法相比，所提出的EM-Softmax损失在准确率、模型大小和训练效率方面表现如何？
• RQ5 所提出方法是否能在CIFAR-10和CIFAR-100等标准图像分类基准上实现最先进性能？

主要发现

• 在CIFAR-10上，EM-Softmax实现了93.31%的top-1准确率，显著优于基线Softmax（90.95%）和模型平均（90.97%），且模型参数量大幅减少。
• 在CIFAR-100上，EM-Softmax达到72.74%的准确率，超过最佳基线模型平均（70.01%）和使用Dropout的Softmax（68.01%）。
• EM-Softmax在两块Titan X GPU上仅需1.01小时训练时间，远快于模型平均（3.02–4.82小时），同时准确率更高。
• EM-Softmax模型大小仅为15.2 MB，远小于模型平均集成的129.35 MB，更具可部署性。
• 在EM-Softmax中加入Dropout仅带来微小增益（93.49% vs. 93.31%），表明集成策略在提升泛化能力方面优于Dropout。
• 基于HSIC的多样性正则化有效提升了泛化性能，其在多个数据集和架构上均表现出一致的性能增益。