[論文レビュー] Inducing Neural Collapse in Imbalanced Learning: Do We Really Need a Learnable Classifier at the End of Deep Neural Network?

Yibo Yang, Shixiang Chen+4 more|arXiv (Cornell University)|Mar 17, 2022

Imbalanced Data Classification Techniques被引用数 21

ひとこと要約

この論文は、ネットワークの末端で simplex ETF 分類器を固定すると、不均衡データでも神経崩壊を誘発し、優れた収束性を持つドット回帰損失を導入して長尾および細分類で改善をもたらすことを示している。

ABSTRACT

Modern deep neural networks for classification usually jointly learn a backbone for representation and a linear classifier to output the logit of each class. A recent study has shown a phenomenon called neural collapse that the within-class means of features and the classifier vectors converge to the vertices of a simplex equiangular tight frame (ETF) at the terminal phase of training on a balanced dataset. Since the ETF geometric structure maximally separates the pair-wise angles of all classes in the classifier, it is natural to raise the question, why do we spend an effort to learn a classifier when we know its optimal geometric structure? In this paper, we study the potential of learning a neural network for classification with the classifier randomly initialized as an ETF and fixed during training. Our analytical work based on the layer-peeled model indicates that the feature learning with a fixed ETF classifier naturally leads to the neural collapse state even when the dataset is imbalanced among classes. We further show that in this case the cross entropy (CE) loss is not necessary and can be replaced by a simple squared loss that shares the same global optimality but enjoys a better convergence property. Our experimental results show that our method is able to bring significant improvements with faster convergence on multiple imbalanced datasets.

研究の動機と目的

• 不均衡学習において神経崩壊のために学習可能な末端分類器が必要かどうかを検討する。
• 不均衡時に simplex ETF 分類器を固定することと、特徴と分類器の整列への影響を調査する。
• 理論的収束保証を持つ ETF 分類器に特化した損失関数（ドット回帰）を開発する。
• 複数データセットを跨る長尾および細分類に対する経験的利点を示す。

提案手法

• 最後の層分類器をランダムな simplex ETF として初期化し、学習中は固定する（DLPM）。
• 固定 ETF 分類器の下で層を剥がしたモデルを分析し、クラス不均衡に関係なく神経崩壊（NC）の出現を示す。
• 固定 ETF の下で CE の勾配ダイナミクスを比較し、特徴の push term の除去による学習の安定性の向上を強調する。
• 正しいクラスへの引き寄せ勾配を再現しつつ push terms を避けるドット回帰（DR）損失を導入する。
• 定理1・定理2を含む、ETF 設定下の CE と DR のグローバル最適性および収束性に関する理論結果を提供する。
• 長尾データセットでの経験的改善を示し、細分類へも拡張する。

実験結果

リサーチクエスチョン

• RQ1 分類器を simplex ETF に固定して不均衡なクラス分布でも神経崩壊を誘発できるか。
• RQ2 学習可能な分類器を用いた CE がマイノリティ崩壊を引き起こす理由は何か、固定 ETF 分類器はこれを回避できるか。
• RQ3 単純なドット回帰損失は同じグローバル最適性を、より良い収束特性とともに達成するか。
• RQ4 ETF 固定手法は複数データセットで長尾および細分類の実用的性能を改善するか。

主な発見

• グローバル最適性: 固定 ETF 分類器を備えたデカップリング層剥離モデルの任意のグローバルミニマイザは、クラスバランスに関係なく特徴と分類器方向の simplex ETF 整合を生む（定理1）。
• 勾配解析は CE の push term が不均衡データで学習を不安定にしうることを示し、固定 ETF は正しいクラス方向への一貫した pull に依存してこの問題を回避すると述べる（セクション4.2 の議論）。
• DR 損失は固定 ETF 設定下で CE と同じ神経崩壊のグローバル最適性を共有するが、収束特性はより良い（定理2）。
• 経験的な結果は、DR 損失を用いた ETF 分類器が複数データセットとバックボーンで長尾精度を改善し、CE を学習可能な分類器で使用する場合よりもしばしば収束が速い（表1–3 の議論）。
• 手法は ImageNet-LT でもエポック数を少なくして学習した場合に利得を生み、細分類の改善にも寄与する（表4 および第5節）。