[论文解读] Rethinking Feature Distribution for Loss Functions in Image Classification

Weitao Wan, Yuanyi Zhong+2 more|arXiv (Cornell University)|Mar 8, 2018

Adversarial Robustness in Machine Learning参考文献 31被引用 24

一句话总结

该论文提出了一种大边缘高斯混合（L-GM）损失，通过将深度特征建模为高斯混合分布，以提升分类与异常检测性能。通过引入分类边缘和似然正则化，L-GM损失增强了模型的鲁棒性，在对抗性样本分类任务中实现了SOTA性能，等错误率（EER）达到3.1%，显著优于Softmax和Center Loss。

ABSTRACT

We propose a large-margin Gaussian Mixture (L-GM) loss for deep neural networks in classification tasks. Different from the softmax cross-entropy loss, our proposal is established on the assumption that the deep features of the training set follow a Gaussian Mixture distribution. By involving a classification margin and a likelihood regularization, the L-GM loss facilitates both a high classification performance and an accurate modeling of the training feature distribution. As such, the L-GM loss is superior to the softmax loss and its major variants in the sense that besides classification, it can be readily used to distinguish abnormal inputs, such as the adversarial examples, based on their features' likelihood to the training feature distribution. Extensive experiments on various recognition benchmarks like MNIST, CIFAR, ImageNet and LFW, as well as on adversarial examples demonstrate the effectiveness of our proposal.

研究动机与目标

• 解决标准深度学习损失函数中缺乏对训练特征分布的显式概率建模的问题。
• 通过基于合理分布假设的建模，强化类内紧凑性与类间可分性，从而提升模型泛化能力。
• 利用学习到的分布下的特征似然，实现对分布外输入（如对抗性样本）的有效检测。
• 在基于高斯混合建模的统一概率框架下，统一分类损失与特征正则化。

提出的方法

• 假设训练集的深度特征服从高斯混合（GM）分布，每个类别对应一个分量。
• 在GM假设下，将分类损失推导为预测类别概率与真实标签之间的交叉熵。
• 引入似然正则化项，以促使训练特征符合所假设的GM分布。
• 将分类边缘直接整合到GM损失公式中，相比先前方法更简化了边缘施加过程。
• 使用贝叶斯规则计算后验概率与似然，实现基于似然的异常检测。
• 采用简化版GM模型，使用单位协方差和相等先验，以实现可计算性与分析可行性。

实验结果

研究问题

• RQ1 将深度特征建模为高斯混合分布是否能带来更好的分类性能与更优的泛化能力？
• RQ2 在基于特征似然的检测中，L-GM损失相较于Softmax与Center Loss在识别对抗性样本方面表现如何？
• RQ3 是否能够通过统一的损失函数同时优化分类准确率与特征分布建模？
• RQ4 在GM损失公式中引入边缘是否能在不引入复杂辅助距离度量的情况下提升模型鲁棒性？
• RQ5 L-GM损失的似然分数在多大程度上能有效区分正常输入与对抗性样本？

主要发现

• L-GM损失在对抗性样本检测中实现了3.1%的等错误率（EER），显著低于Center Loss的10.2%与Softmax Loss的37.7%。
• L-GM损失能有效通过低似然性区分对抗性样本，如似然直方图与ROC曲线所示。
• Center Loss在形式上等价于L-GM损失中似然正则化的一个特例，从而在统一的概率框架下实现统一。
• L-GM损失在多个基准测试（包括MNIST、CIFAR、ImageNet与LFW）中，无论在分类任务还是异常检测任务中，均优于Softmax及其变体。
• 即使对抗性样本通过定向FGSM攻击被刻意设计为提高L-GM损失下的似然，其仍大多可被检测，EER达到4.3%，表明对这类攻击具有鲁棒性。