[论文解读] Feature Incay for Representation Regularization

Yuhui Yuan, Kuiyuan Yang+1 more|arXiv (Cornell University)|May 29, 2017

Advanced Neural Network Applications参考文献 14被引用 13

一句话总结

本文提出特征增长（feature incay），一种新型正则化方法，通过在训练过程中鼓励深度神经网络的特征向量增大范数，从而提升类间可分性与类内紧凑性。通过最小化特征L2范数的倒数（倒数范数损失，Reciprocal Norm Loss），该方法提升了泛化性能，在MNIST、CIFAR10和CIFAR100上持续优于标准Softmax和大-margin Softmax，准确率更高，特征范数更大。

ABSTRACT

Softmax loss is widely used in deep neural networks for multi-class classification, where each class is represented by a weight vector, a sample is represented as a feature vector, and the feature vector has the largest projection on the weight vector of the correct category when the model correctly classifies a sample. To ensure generalization, weight decay that shrinks the weight norm is often used as regularizer. Different from traditional learning algorithms where features are fixed and only weights are tunable, features are also tunable as representation learning in deep learning. Thus, we propose feature incay to also regularize representation learning, which favors feature vectors with large norm when the samples can be correctly classified. With the feature incay, feature vectors are further pushed away from the origin along the direction of their corresponding weight vectors, which achieves better inter-class separability. In addition, the proposed feature incay encourages intra-class compactness along the directions of weight vectors by increasing the small feature norm faster than the large ones. Empirical results on MNIST, CIFAR10 and CIFAR100 demonstrate feature incay can improve the generalization ability.

研究动机与目标

• 为解决标准Softmax损失中特征范数未被充分利用的问题，该损失仅优化角度和权重范数。
• 通过显式正则化特征表示而非仅分类器权重，提升模型泛化能力。
• 提出一种新的归纳偏置，偏好正确分类样本的较大特征范数。
• 从理论和实证两方面证明特征范数在表示学习中的重要性。
• 证明特征增长可与现有方法（如大-margin Softmax和中心损失）互补。

提出的方法

• 引入倒数范数损失（Reciprocal Norm Loss），通过最小化特征向量L2范数的倒数，以促进更大的范数。
• 将特征增长作为正则化项，与Softmax或大-margin Softmax联合使用，通过超参数λ平衡损失。
• 该方法对小范数特征的范数增长速度高于大范数特征，从而促进类内紧凑性。
• 特征增长沿各自权重向量方向将特征向量从原点推开，增强类间边际。
• 损失函数可微，兼容标准反向传播，支持端到端训练。
• 该方法具有通用性，可与其它正则化方法（如中心损失或大-margin约束）结合使用。

实验结果

研究问题

• RQ1 为何标准Softmax损失即使对正确分类样本也未能优化特征范数？
• RQ2 为何增大特征范数能提升深度神经网络的泛化性能？
• RQ3 一种鼓励大特征范数的正则化方法，能否同时提升类间可分性与类内紧凑性？
• RQ4 在表示学习中，特征增长与权重衰减及其他正则化技术相比表现如何？
• RQ5 在与大-margin Softmax结合时，特征增长的最优超参数设置为何？

主要发现

• 特征增长显著提升了测试集上特征向量的平均L2范数，当λ=0.1时，RN+Softmax在CIFAR10上达到92.04%的top-1准确率。
• 在CIFAR100上，RN+L-Softmax的错误率为29.18%，较L-Softmax（29.53%）提升0.37%，表现出一致的性能增益。
• 该方法将测试损失从Softmax的0.1498降低至RN+Softmax的0.1432，表明泛化能力更强。
• 即使使用较小的λ值，特征增长仍能提升L-Softmax性能，表明对超参数选择具有鲁棒性。
• 倒数范数损失能更有效地加快小范数特征的范数增长，从而降低类内方差。
• 实证结果表明，特征增长在MNIST、CIFAR10和CIFAR100三个数据集上均提升了泛化性能。