[论文解读] On the Separability of Classes with the Cross-Entropy Loss Function

Rudrajit Das, Subhasis Chaudhuri|arXiv (Cornell University)|Sep 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 12被引用 13

一句话总结

本文首次对使用交叉熵损失训练的深度神经网络中的类别可分性进行了理论分析，推导出特征空间中类间距离超过类内距离的概率的下界。通过将特征空间变换建模为网络相关矩阵，并分析距离向量的ℓ₂范数，表明更低的损失值与更高的可分性概率相关，为交叉熵训练为何能促进有效类别分离提供了概率性解释。

ABSTRACT

In this paper, we focus on the separability of classes with the cross-entropy loss function for classification problems by theoretically analyzing the intra-class distance and inter-class distance (i.e. the distance between any two points belonging to the same class and different classes, respectively) in the feature space, i.e. the space of representations learnt by neural networks. Specifically, we consider an arbitrary network architecture having a fully connected final layer with Softmax activation and trained using the cross-entropy loss. We derive expressions for the value and the distribution of the squared L2 norm of the product of a network dependent matrix and a random intra-class and inter-class distance vector (i.e. the vector between any two points belonging to the same class and different classes), respectively, in the learnt feature space (or the transformation of the original data) just before Softmax activation, as a function of the cross-entropy loss value. The main result of our analysis is the derivation of a lower bound for the probability with which the inter-class distance is more than the intra-class distance in this feature space, as a function of the loss value. We do so by leveraging some empirical statistical observations with mild assumptions and sound theoretical analysis. As per intuition, the probability with which the inter-class distance is more than the intra-class distance decreases as the loss value increases, i.e. the classes are better separated when the loss value is low. To the best of our knowledge, this is the first work of theoretical nature trying to explain the separability of classes in the feature space learnt by neural networks trained with the cross-entropy loss function.

研究动机与目标

• 为了从理论上解释为何使用Softmax的交叉熵损失能在深度神经网络的特征空间中促进类别可分性。
• 为了量化在特征空间中类间距离超过类内距离的概率，作为交叉熵损失值的函数。
• 为了弥合关于类内聚集体紧凑和类间间隔大的经验观察与交叉熵损失缺乏理论依据之间的鸿沟。
• 为了提供一个将训练损失与特征空间几何结构（尤其是可分性）联系起来的概率框架。
• 为了为理解交叉熵训练对类间分离的隐式偏差提供理论基础。

提出的方法

• 推导出网络相关矩阵与特征空间中随机类内距离向量乘积的平方ℓ₂范数的互补累积分布函数（ccdf）。
• 推导出同一矩阵与随机类间距离向量乘积的平方ℓ₂范数的ccdf的下界。
• 引入基于因子的类间与类内距离比较，推导出类间距离超过类内距离（按选定因子）的概率的下界。
• 在矩阵元素上施加温和的统计假设，推导出类间距离超过类内距离（因子≥1）的概率的下界。
• 使用理论分析将每类的期望准确率与交叉熵损失值联系起来，将损失与泛化性能直接关联。
• 在合成数据集和真实数据集（CIFAR-10、MNIST、SYN-1、SYN-2）上验证了结果，显示出损失与可分性之间的一致趋势。

实验结果

研究问题

• RQ1 在使用交叉熵损失训练的网络的特征空间中，类间距离超过类内距离的理论概率是多少？
• RQ2 该概率如何依赖于交叉熵损失的取值？
• RQ3 我们能否在对网络特征变换矩阵施加温和假设的前提下，推导出类间分离概率的下界？
• RQ4 相对于类内距离的边距因子选择如何影响可分性概率的下界？
• RQ5 交叉熵损失在多大程度上隐式促进了类内紧凑性和类间可分性，且这种影响能否被量化？

主要发现

• 随着交叉熵损失的降低，类间距离超过类内距离的概率增加，证实了直观预期。
• 对于SYN-1（损失L=0.5632），对于|c₁−c₂|=1的类别对，类间距离超过类内距离的概率至少为0.6196，而对于|c₁−c₂|≥5的类别对，该概率上升至1.0000。
• 对于SYN-2（损失L=0.1889），|c₁−c₂|=1的类别对中，该概率至少为0.8169，而对于|c₁−c₂|≥3的类别对，该概率达到1.0000，表明在较低损失下具有更强的可分性。
• 在SYN-1中，当边距因子从0.2(C−1)增加到5(C−1)时，可分性概率的下界从约0.5494提高到0.7295，表明更大的边距可提升可分性。
• 在SYN-2中，相同边距因子变化下，可分性概率的下界从0.7749提高到0.8986，与经验趋势一致。
• 将期望每类准确率表示为损失值的函数，将泛化性能与从损失导出的可分性度量直接关联。