[論文レビュー] On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features

Jian Zhou, Li, Xiao+4 more|arXiv (Cornell University)|Mar 2, 2022

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿は、制約のない特徴量モデル下での平均二乗誤差（MSE）損失で訓練された深層ニューラルネットワークの、初めてのグローバル最適化ランドスケープ解析を提供する。すべてのグローバル最小解がニューラルコラプス（NC）を示すことが証明され、偽の局所最小解は存在せず、唯一の厳密なサドル点のみである。MSE損失のスケーリングによりランドスケープと一般化性能が向上し、ResNet18を用いた実験でもその有効性が裏付けられている。

ABSTRACT

When training deep neural networks for classification tasks, an intriguing empirical phenomenon has been widely observed in the last-layer classifiers and features, where (i) the class means and the last-layer classifiers all collapse to the vertices of a Simplex Equiangular Tight Frame (ETF) up to scaling, and (ii) cross-example within-class variability of last-layer activations collapses to zero. This phenomenon is called Neural Collapse (NC), which seems to take place regardless of the choice of loss functions. In this work, we justify NC under the mean squared error (MSE) loss, where recent empirical evidence shows that it performs comparably or even better than the de-facto cross-entropy loss. Under a simplified unconstrained feature model, we provide the first global landscape analysis for vanilla nonconvex MSE loss and show that the (only!) global minimizers are neural collapse solutions, while all other critical points are strict saddles whose Hessian exhibit negative curvature directions. Furthermore, we justify the usage of rescaled MSE loss by probing the optimization landscape around the NC solutions, showing that the landscape can be improved by tuning the rescaling hyperparameters. Finally, our theoretical findings are experimentally verified on practical network architectures.

研究の動機と目的

• 実際の応用で交差エントロピー（CE）損失と同等またはそれ以上の性能を示すMSE損失下でのニューラルコラプス（NC）の理論的裏付けを提供すること。
• 特徴量が自由な最適化変数である非制約特徴量モデル下で、バニラ非凸MSE損失のグローバル最適化ランドスケープを分析すること。
• NC解が唯一のグローバル最小解であり、他のすべての臨界点が負の曲率を持つ厳密なサドル点であることを示し、効率的な最適化を可能にすること。
• MSE損失のスケーリングハイパーパrameterが最適化ランドスケープと一般化性能に与える影響を調査すること。
• miniImageNetなどのデータセットを用いて、ResNet18などの実用的アーキテクチャ上で理論的発見を実証的に検証すること。

提案手法

• 最終層の特徴量と分類器が自由な変数である非制約特徴量モデルを形式化し、ネットワーク重みから分離する。
• 臨界点分類を用いてMSE損失のランドスケープを分析し、グローバル最小解が正確にNC解に一致することを証明する。
• 非グローバル臨界点が厳密なサドル点であることを特徴づけ、そのヘッセ行列に少なくとも1つの負の固有値が存在することを示す。
• NC解の周囲のランドスケープを改善するため、2つのハイパーパrameter（α と M）を有するスケーリング済みMSE損失を導入する。
• ランドスケープ可視化とResNet18における実験的訓練を用い、スケーリングがNC度とテスト精度に与える影響を調査する。
• α と M を変化させたminiImageNetにおける実験を通じて、スケーリングとNCの強化・一般化性能向上の相関関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 制約のない特徴量モデル下でのMSE損失は、一意のグローバル解としてニューラルコラプスをもたらすか？
• RQ2 非凸MSE損失のグローバル最適化ランドスケープはどのようなものか—具体的には、偽の局所最小解は存在せず、唯一の厳密なサドル点のみか？
• RQ3 MSE損失のスケーリングは最適化ランドスケープと一般化性能にどのように影響するか？
• RQ4 スケーリングの理論的利点は、深層ネットワークの実際の訓練において観察可能か？
• RQ5 MSEベースのNCとCEベースのNCは、学習ダイナミクスとロバストネスの観点でどのように比較できるか？

主な発見

• 非制約特徴量モデル下でのMSE損失のすべてのグローバル最小解は、ニューラルコラプス解であり、クラス平均が単体等角フレーム（ETF）を形成し、クラス内ばらつきがゼロに収束する。
• 非グローバル臨界点はすべて厳密なサドル点であり、ヘッセ行列に少なくとも1つの負の固有値が存在するため、一次元最適化法により効率的に脱出可能である。
• ハイパーパrameter α と M を用いたMSE損失のスケーリングにより最適化ランドスケープが改善され、意思決定境界付近の点の数が減少し、一般化性能が向上する。
• ResNet18における実験的結果から、α もしくは M を増加させると、ニューラルコラプスの強さとトレーニング・テスト精度が向上することが相関する。
• NCの度合いとモデル性能は、スケーリングパラメータと正の相関関係にあり、MSE損失における最適性能を達成するにはスケーリングが不可欠であることが示唆される。
• 本研究の結果により、ニューラルコラプスの広範な出現がMSEで訓練されたネットワークにまで拡張され、最適化アルゴリズムが厳密なサドル点を回避する限り、アーキテクチャ（十分な表現力を持つ限り）に依存しない。