[論文レビュー] Imbalance Trouble: Revisiting Neural-Collapse Geometry

Christos Thrampoulidis, Ganesh Ramachandra Kini+2 more|arXiv (Cornell University)|Aug 10, 2022

Imbalanced Data Classification Techniques被引用数 13

ひとこと要約

本稿では、クラス不均衡に依存しないニューラルコラプス幾何学の一般化として、シンプルクス符号化ラベル補間（SELI）を導入する。正則化が消える交差エントロピー損失の下で、埋め込みと分類器が、クラス不均衡の有無にかかわらず、常に単体符号化ラベル行列を補間することを証明している。得られる幾何構造は、このラベル行列の特異値分解（SVD）によって完全に決定され、ノルムと角度は不均衡比とクラス数によって明示的に特徴づけられ、不均衡データ下でのモデル幾何学を統一的かつ閉形式で記述する。

ABSTRACT

Neural Collapse refers to the remarkable structural properties characterizing the geometry of class embeddings and classifier weights, found by deep nets when trained beyond zero training error. However, this characterization only holds for balanced data. Here we thus ask whether it can be made invariant to class imbalances. Towards this end, we adopt the unconstrained-features model (UFM), a recent theoretical model for studying neural collapse, and introduce Simplex-Encoded-Labels Interpolation (SELI) as an invariant characterization of the neural collapse phenomenon. Specifically, we prove for the UFM with cross-entropy loss and vanishing regularization that, irrespective of class imbalances, the embeddings and classifiers always interpolate a simplex-encoded label matrix and that their individual geometries are determined by the SVD factors of this same label matrix. We then present extensive experiments on synthetic and real datasets that confirm convergence to the SELI geometry. However, we caution that convergence worsens with increasing imbalances. We theoretically support this finding by showing that unlike the balanced case, when minorities are present, ridge-regularization plays a critical role in tweaking the geometry. This defines new questions and motivates further investigations into the impact of class imbalances on the rates at which first-order methods converge to their asymptotically preferred solutions.

研究の動機と目的

• クラス不均衡データ下での深層ニューラルネットワークの解の統一的幾何的特徴づけの欠如に応えること。既存のニューラルコラプス理論はバランスデータにのみ適用可能である。
• バランスデータの等角フレーム（ETF）構造を不均衡設定に一般化する理論的根拠に基づいた不変なモデル幾何の記述を構築すること。
• リッジ正則化の役割、特にマイノリティクラスが存在する場合の幾何構造への影響を特定すること。
• 不均衡データ下での埋め込みと分類器の共同幾何を、閉形式で解析可能に記述するフレームワークを提供すること。Unconstrained-Features Model（UFM）を用いる。

提案手法

• クラス不均衡下でのニューラルコラプスを研究するための二層プロキシとして、Unconstrained-Features Model（UFM）を採用する。
• 各クラスが一意の one-hot に類似したパターン $1 - 1/k$ と $-1/k$ を取り、$ackslash mathbb{R}^k$ 内に単体を形成する、構造化されたラベル符号化としてのシンプルクス符号化ラベル（SEL）行列を定義する。
• 交差エントロピー損失と正則化が消える条件下で、学習されたロジット行列が、クラス不均衡の有無にかかわらず、正確にSEL行列を補間することを証明する。
• 埋め込みと分類器の幾何は、それぞれSEL行列の左特異ベクトルと右特異ベクトルによって完全に決定されることを示す。
• SEL行列のSVD分解を用いて、クラス平均と分類器重みのノルムと角度の閉形式表現を導出する。
• 合成データおよび実データを用いた実験により、モデルがSELI幾何に収束することを示し、不均衡度が増すと性能が劣化することを確認する。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡に対して不変なニューラルネットワーク解の幾何的特徴づけは可能か。すなわち、バランスデータのニューラルコラプス現象を一般化できるか。
• RQ2 交差エントロピー損失で不均衡データを学習した深層ネットワークのロジット行列は、構造化されたラベル行列を補間するか。その形式は何か。
• RQ3 このような幾何構造下で、埋め込みと分類器のノルムと角度は、不均衡比とクラス数にどのように依存するか。
• RQ4 マイノリティクラスが存在する場合、リッジ正則化は幾何構造にどのような役割を果たすか。バランスケースと比較して。
• RQ5 SELI幾何は、実際の応用で観察されるマイノリティクラスとマジョリティクラスの分類器間のノルム差を説明し、定量的に評価できるか。

主な発見

• 交差エントロピー損失と正則化が消える条件下で、学習されたロジット行列は、クラス不均衡の有無にかかわらず、正確に単体符号化ラベル（SEL）行列を補間する。
• 埋め込みと分類器の幾何は、SEL行列のSVD要因によって完全に決定され、ノルムと角度の閉形式表現が不均衡比とクラス数の関数として得られる。
• SELI幾何はETF幾何を一般化する。バランスケースまたは2クラスの場合にETFに還元されるが、不均衡度にかかわらず不変性を保つ。
• 合成および実データを用いた広範な実験により、SELI幾何への収束は不均衡度が増すと劣化することが確認された。
• リッジ正則化は不均衡下での幾何構造に重要な役割を果たすが、バランスケースではそれほど影響が小さい。
• 理論的解析により、マイノリティクラスの分類器ノルムがマジョリティクラスのノルムより小さいことが確認され、先行研究の実証的観察と定量的に一致した。