[論文レビュー] Neural Collapse with Normalized Features: A Geometric Analysis over the Riemannian Manifold

Can Yaras, Peng Wang+3 more|arXiv (Cornell University)|Sep 19, 2022

Medical Imaging and Analysis被引用数 4

ひとこと要約

本稿は、特徴量を正規化した過パラメータ化された深層ネットワークにおけるニューラルコラプスの幾何学的解析を提供し、球面上のリーマン多様体上の最適化の流れが、ニューラルコラプス解のみがグローバルミニマである良性のグローバル構造を示していることを示している。他の臨界点はすべて負の曲率を持つ厳密なサドル点である。この理論は、特徴量正規化のもとで確率的勾配降下法がなぜ効率的にこれらの解に収束するのかを説明する。

ABSTRACT

When training overparameterized deep networks for classification tasks, it has been widely observed that the learned features exhibit a so-called "neural collapse" phenomenon. More specifically, for the output features of the penultimate layer, for each class the within-class features converge to their means, and the means of different classes exhibit a certain tight frame structure, which is also aligned with the last layer's classifier. As feature normalization in the last layer becomes a common practice in modern representation learning, in this work we theoretically justify the neural collapse phenomenon for normalized features. Based on an unconstrained feature model, we simplify the empirical loss function in a multi-class classification task into a nonconvex optimization problem over the Riemannian manifold by constraining all features and classifiers over the sphere. In this context, we analyze the nonconvex landscape of the Riemannian optimization problem over the product of spheres, showing a benign global landscape in the sense that the only global minimizers are the neural collapse solutions while all other critical points are strict saddles with negative curvature. Experimental results on practical deep networks corroborate our theory and demonstrate that better representations can be learned faster via feature normalization.

研究の動機と目的

• 特徴量が単位球面上に正規化されたとき、深層ネットワークでなぜニューラルコラプスが出現するのかを理論的に説明すること。
• 特徴量および分類器にノルム制約を課した多クラス分類の非凸最適化の流れを分析すること。
• ニューラルコラプス解が唯一のグローバルミニマであり、他のすべての臨界点が負の曲率を持つ厳密なサドル点であることを確立すること。
• 実験を通じて特徴量正規化が学習を加速させ、表現品質を向上させることを示すこと。
• 特徴量次元に対して多くのクラスがある状況に理論的知見を拡張すること。

提案手法

• 特徴量および分類器の両方に制約を課した単位球面の積上の非凸最適化問題として、多クラス分類問題を定式化すること。
• 実効損失（交差エントロピーおよび平均二乗誤差）をリーマン多様体上の制約付き最適化問題に簡略化すること。
• リーマンヘッセ行列を分析し、ニューラルコラプス解以外のすべての臨界点が負の曲率を持つ厳密なサドル点であることを示すこと。
• 唯一のグローバルミニマが、クラス内コラプス、単体ETF構造、自己双対性という3つのニューラルコラプスの性質を満たしていることを証明すること。
• 制約なしの特徴量モデルを用い、ノルム制約を課して最適解の幾何的構造を導出すること。
• 深層ネットワークを用いた実験を通じて理論を検証し、特徴量正規化が収束を速め、一般化性能を向上させることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 非凸性を持つ最適化問題にもかかわらず、特徴量が単位球面に正規化されたとき、なぜ深層ネットワークでニューラルコラプスが出現するのか？
• RQ2 リーマン多様体上での正規化された特徴量および分類器の最適化の流れの幾何的構造は何か？
• RQ3 正規化された特徴量設定において、ニューラルコラプス解が唯一のグローバルミニマであるか？他の臨界点の性質は何か？
• RQ4 特徴量正規化は、深層学習モデルの収束速度および一般化性能にどのように影響するか？
• RQ5 特徴量次元に対して多くのクラスがある状況に、理論枠組みを拡張できるか？

主な発見

• 正規化された特徴量のリーマン多様体上の最適化の流れは、ニューラルコラプス解のみがグローバルミニマである良性のグローバル構造を示している。
• ニューラルコラプスでないすべての臨界点は、負の曲率を持つ厳密なサドル点であり、SGDがそれらを効率的に脱出できることが説明できる。
• 実験結果から、特徴量正規化が収束を速め、テスト精度を向上させることを示しており、100クラス2次元の合成タスクで100%の精度を達成した。
• 理論的分析により、ニューラルコラプス解がすべての3つの性質（クラス内コラプス、単体ETF構造、自己双対性）を満たしていることが確認された。
• 特徴量正規化は、特に低次元および高クラス数の状況で、クラス分離性および線形識別可能性を向上させることで、表現品質を向上させる。
• この枠組みは、現代の深層学習における正規化の成功を幾何学的に説明するものであり、特に対照的学習や自己教師あり学習において顕著である。