[論文レビュー] On the Separability of Classes with the Cross-Entropy Loss Function

Rudrajit Das, Subhasis Chaudhuri|arXiv (Cornell University)|Sep 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 13

ひとこと要約

本論文は、交差エントロピー損失で訓練された深層ニューラルネットワークにおけるクラス分離性の最初の理論的分析を提供し、特徴空間におけるクラス間距離がクラス内距離を上回る確率の下界を導出する。ネットワーク依存の行列を用いて特徴空間変換をモデル化し、距離ベクトルの ℓ₂ ノルムを分析することで、低い損失値が高い分離性確率と相関することを示し、交差エントロピー学習が有効なクラス分離を促進する理由について確率的根拠を提示する。

ABSTRACT

In this paper, we focus on the separability of classes with the cross-entropy loss function for classification problems by theoretically analyzing the intra-class distance and inter-class distance (i.e. the distance between any two points belonging to the same class and different classes, respectively) in the feature space, i.e. the space of representations learnt by neural networks. Specifically, we consider an arbitrary network architecture having a fully connected final layer with Softmax activation and trained using the cross-entropy loss. We derive expressions for the value and the distribution of the squared L2 norm of the product of a network dependent matrix and a random intra-class and inter-class distance vector (i.e. the vector between any two points belonging to the same class and different classes), respectively, in the learnt feature space (or the transformation of the original data) just before Softmax activation, as a function of the cross-entropy loss value. The main result of our analysis is the derivation of a lower bound for the probability with which the inter-class distance is more than the intra-class distance in this feature space, as a function of the loss value. We do so by leveraging some empirical statistical observations with mild assumptions and sound theoretical analysis. As per intuition, the probability with which the inter-class distance is more than the intra-class distance decreases as the loss value increases, i.e. the classes are better separated when the loss value is low. To the best of our knowledge, this is the first work of theoretical nature trying to explain the separability of classes in the feature space learnt by neural networks trained with the cross-entropy loss function.

研究の動機と目的

• 交差エントロピー損失とソフトマックスを用いた学習が、深層ニューラルネットワークの特徴空間においてなぜクラス分離性を促進するかを理論的に説明すること。
• 交差エントロピー損失値の関数として、特徴空間におけるクラス間距離がクラス内距離を上回る確率を定量化すること。
• 密なクラス内クラスタと大きなクラス間マージンという経験的観察と、交差エントロピー損失に対する理論的根拠の欠如の間のギャップを埋めること。
• 訓練損失と特徴空間幾何学、特に分離性を結びつける確率的フレームワークを提供すること。
• 交差エントロピー学習の暗黙的なバイアスがクラス分離をどのように促進するかを理解するための理論的基盤を提供すること。

提案手法

• 特徴空間におけるランダムなクラス内距離ベクトルとネットワーク依存行列の積の平方 ℓ₂ ノルムの補完的累積分布関数（ccdf）を導出する。
• 同じ行列とランダムなクラス間距離ベクトルの積の平方 ℓ₂ ノルムの ccdf に対する下界を導出する。
• クラス間距離とクラス内距離の要因に基づく比較を導入し、前者が後者をある所定の要因で上回る確率の下界を導出する。
• 行列要素にやや弱い統計的仮定を適用し、クラス間距離がクラス内距離を上回る確率（要因 ≥1）の下界を導出する。
• 理論的分析を用いて、各クラスの予測精度の期待値を交差エントロピー損失値の関数として表現し、損失と一般化性能を結びつける。
• 合成データおよび実データ（CIFAR-10、MNIST、SYN-1、SYN-2）上で実験的に妥当性を検証し、損失と分離性の間で一貫した傾向が確認された。

実験結果

リサーチクエスチョン

• RQ1 交差エントロピー損失で訓練されたネットワークの特徴空間において、クラス間距離がクラス内距離を上回る理論的確率は何か？
• RQ2 この確率は交差エントロピー損失の値にどのように依存するか？
• RQ3 ネットワークの特徴変換行列に関するやや弱い仮定のもとで、クラス間分離の確率に対する下界を導出できるか？
• RQ4 マージン要因（クラス内距離に対する相対値）の選択が、分離確率の下界にどのように影響するか？
• RQ5 交差エントロピー損失が、クラス内コンパクト性とクラス間分離性をどれほど暗黙的に促進するか、そしてその程度を定量化できるか？

主な発見

• 交差エントロピー損失が低下するにつれて、クラス間距離がクラス内距離を上回る確率が上昇することが確認され、直感的な期待と一致する。
• SYN-1 において損失 L=0.5632 の場合、|c₁−c₂|=1 のクラスペアでは確率が少なくとも 0.6196 に達し、|c₁−c₂|≥5 のペアでは 1.0000 に達した。
• SYN-2 において損失 L=0.1889 の場合、|c₁−c₂|=1 のペアでは確率が少なくとも 0.8169 に達し、|c₁−c₂|≥3 のペアでは 1.0000 に達した。これは、低い損失でより強い分離性を示している。
• SYN-1 においてマージン要因を 0.2(C−1) から 5(C−1) に増加させた際、分離確率の下界は約 0.5494 から 0.7295 に上昇し、より大きなマージンで分離性が向上することが示された。
• SYN-2 においても同様に、マージン要因を変更した際、下界は 0.7749 から 0.8986 に上昇し、経験的傾向と一貫していることが確認された。
• 各クラスの予測精度の期待値を損失値の関数として表現し、一般化性能を損失から導出される分離性指標と直接的に結びつけた。