[논문 리뷰] On the Separability of Classes with the Cross-Entropy Loss Function

Rudrajit Das, Subhasis Chaudhuri|arXiv (Cornell University)|2019. 09. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 13

한 줄 요약

이 논문은 교차 엔트로피 손실로 훈련된 딥 네ural 네트워크에서 클래스 간 분리성에 대한 최초의 이론적 분석을 제공하며, 특성 공간에서 이종 거리가 내종 거리를 초과할 확률에 대한 하한을 유도한다. 네트워크에 의존하는 행렬을 통한 특성 공간 변환 모델링과 임베딩 벡터의 ℓ₂ 노름 분석을 통해, 낮은 손실 값일수록 더 높은 분리성 확률과 관련이 있음을 보이며, 교차 엔트로피 훈련이 효과적인 클래스 분리를 촉진하는 데 대한 확률론적 근거를 제시한다.

ABSTRACT

In this paper, we focus on the separability of classes with the cross-entropy loss function for classification problems by theoretically analyzing the intra-class distance and inter-class distance (i.e. the distance between any two points belonging to the same class and different classes, respectively) in the feature space, i.e. the space of representations learnt by neural networks. Specifically, we consider an arbitrary network architecture having a fully connected final layer with Softmax activation and trained using the cross-entropy loss. We derive expressions for the value and the distribution of the squared L2 norm of the product of a network dependent matrix and a random intra-class and inter-class distance vector (i.e. the vector between any two points belonging to the same class and different classes), respectively, in the learnt feature space (or the transformation of the original data) just before Softmax activation, as a function of the cross-entropy loss value. The main result of our analysis is the derivation of a lower bound for the probability with which the inter-class distance is more than the intra-class distance in this feature space, as a function of the loss value. We do so by leveraging some empirical statistical observations with mild assumptions and sound theoretical analysis. As per intuition, the probability with which the inter-class distance is more than the intra-class distance decreases as the loss value increases, i.e. the classes are better separated when the loss value is low. To the best of our knowledge, this is the first work of theoretical nature trying to explain the separability of classes in the feature space learnt by neural networks trained with the cross-entropy loss function.

연구 동기 및 목표

• 딥 네럴 네트워크의 특성 공간에서 소프트맥스를 사용한 교차 엔트로피 손실이 왜 클래스 분리성을 촉진하는지 이론적으로 설명하기.
• 교차 엔트로피 손실 값의 함수로서 특성 공간에서 이종 거리가 내종 거리를 초과할 확률을 정량화하기.
• 내종 클러스터의 응집성과 이종 간격의 크기를 관찰한 경험적 결과와, 교차 엔트로피 손실에 대한 이론적 근거 부족 사이의 격차를 메우기.
• 훈련 손실과 특성 공간 기하학, 특히 분리성 간의 관계를 연결하는 확률론적 프레임워크 제공하기.
• 교차 엔트로피 훈련의 암묵적 편향이 클래스 분리성으로 이어지는 이론적 기반 제공하기.

제안 방법

• 특성 공간에서 네트워크에 의존하는 행렬과 임의의 내종 거리 벡터의 곱의 제곱 ℓ₂ 노름의 보완 누적 분포 함수(ccdf) 유도.
• 동일한 행렬과 임의의 이종 거리 벡터의 곱의 제곱 ℓ₂ 노름의 ccdf에 대한 하한 유도.
• 이종 거리와 내종 거리 간의 요인 기반 비교를 도입하여, 이종 거리가 내종 거리를 특정 요인만큼 초과할 확률에 대한 하한을 유도.
• 행렬 원소에 대해 약한 통계적 가정을 적용하여, 이종 거리가 내종 거리를 초과할 확률(요인 ≥1)에 대한 하한을 도출.
• 이론적 분석을 통해 기대 per-class 정확도를 교차 엔트로피 손실 값의 함수로 표현하여, 손실과 일반화 성능 간의 연결 고리 제공.
• 합성 및 실제 데이터셋(CIFAR-10, MNIST, SYN-1, SYN-2)에서의 실증적 검증을 통해 손실과 분리성 간 일관된 경향성 확인.

실험 결과

연구 질문

• RQ1 교차 엔트로피 손실로 훈련된 네트워크의 특성 공간에서 이종 거리가 내종 거리를 초과할 이론적 확률은 얼마인가?
• RQ2 이 확률은 교차 엔트로피 손실 값에 따라 어떻게 달라지는가?
• RQ3 네트워크의 특성 변환 행렬에 대해 약한 가정을 두었을 때, 이종 분리의 확률에 대한 하한을 도출할 수 있는가?
• RQ4 내종 거리 대비 상대적인 마진 요인의 선택이 분리성 확률의 하한에 어떻게 영향을 미치는가?
• RQ5 교차 엔트로피 손실이 내종 응집성과 이종 분리성의 암묵적 촉진 정도는 어느 정도이며, 이를 정량화할 수 있는가?

주요 결과

• 교차 엔트로피 손실이 감소할수록 이종 거리가 내종 거리를 초과할 확률이 증가함을 확인하여 직관적 기대를 뒷받침한다.
• 손실 L=0.5632인 SYN-1에서, |c₁−c₂|=1인 클래스 쌍에 대해 이종 거리가 내종 거리를 초과할 확률은 최소 0.6196이었으며, |c₁−c₂|≥5인 쌍에 대해서는 1.0000에 도달했다.
• 손실 L=0.1889인 SYN-2에서, |c₁−c₂|=1인 쌍에 대해 최소 0.8169의 확률을 기록했고, |c₁−c₂|≥3인 쌍에선 1.0000에 도달하여 더 낮은 손실에서 더 강한 분리성이 나타났다.
• SYN-1에서 마진 요인을 0.2(C−1)에서 5(C−1)로 증가시킬 경우, 분리성 확률의 하한이 약 0.5494에서 0.7295로 증가하여 더 큰 마진이 분리성 향상에 기여함을 보였다.
• SYN-2에서도 동일한 마진 요인 변화에 따라 하한이 0.7749에서 0.8986으로 증가하여 실증적 경향성과 일관성을 확인했다.
• 기대 per-class 정확도를 손실 값의 함수로 표현하여, 손실에서 도출된 분리성 지표와 일반화 성능 간 직접적인 연결 고리를 설정했다.