[論文レビュー] Extended Unconstrained Features Model for Exploring Deep Neural Collapse

Tom Tirer, Joan Bruna|arXiv (Cornell University)|Feb 16, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿は、正則化された平均二乗誤差（MSE）損失およびReLU活性化を伴う非線形アーキテクチャ下での深層ニューラルコラプス（DNC）を分析するため、非制約特徴モデル（UFM）を拡張する。MSE損失は交差エントロピーと比較して、直交性を含むより構造的な特徴コラプスを可能にすることを示し、非線形拡張UFMが実用的ネットワーク（CIFAR10上のResNet18を含む）におけるDNCを正確にモデル化できることを示している。

ABSTRACT

The modern strategy for training deep neural networks for classification tasks includes optimizing the network's weights even after the training error vanishes to further push the training loss toward zero. Recently, a phenomenon termed "neural collapse" (NC) has been empirically observed in this training procedure. Specifically, it has been shown that the learned features (the output of the penultimate layer) of within-class samples converge to their mean, and the means of different classes exhibit a certain tight frame structure, which is also aligned with the last layer's weights. Recent papers have shown that minimizers with this structure emerge when optimizing a simplified "unconstrained features model" (UFM) with a regularized cross-entropy loss. In this paper, we further analyze and extend the UFM. First, we study the UFM for the regularized MSE loss, and show that the minimizers' features can have a more delicate structure than in the cross-entropy case. This affects also the structure of the weights. Then, we extend the UFM by adding another layer of weights as well as ReLU nonlinearity to the model and generalize our previous results. Finally, we empirically demonstrate the usefulness of our nonlinear extended UFM in modeling the NC phenomenon that occurs with practical networks.

研究の動機と目的

• 正則化された平均二乗誤差（MSE）損失下での非制約特徴モデル（UFM）における構造的特徴コラプスの出現を分析すること。
• 追加の線形層とReLU非線形性を組み込むことでUFMを拡張し、現実世界の深層ニューラルネットワークをよりよくモデル化すること。
• バイアスおよび正則化がコラプスした特徴および分類器重みの構造に与える影響を調査すること。
• 非線形拡張UFMが、ResNet18などの実用的ネットワークで観測されたニューラルコラプス現象を正確に捉えることができることを示すこと。
• 拡張UFMが深層ネットワーク最適化ダイナミクスをモデル化する上で堅牢であるという理論的・実験的根拠を提供すること。

提案手法

• 入力データとは独立して特徴を最適化変数として扱うUFMフレームワーク内で、正則化されたMSE損失を形式化する。
• MSEに基づくUFMの最小化子を分析し、バイアス項が直交性を含むより構造的な特徴コラプスを可能にすることを示す。
• ReLU非線形性を備えた二層構造の拡張UFMを導入し、最も深い特徴を非線形変換の出力としてモデル化する。
• 特定の条件下で、非線形拡張UFMが最も深い特徴を単体等角フレーム（ETF）に構造的コラプスさせることを証明する。
• コラプス構造の周囲における特徴の摂動の漸近的解析を行い、安定性を評価する。
• CIFAR10でMSE損失で訓練されたResNet18を用いて、実験的にモデルを検証し、拡張UFMのニューラルコラプス指標と比較する。

実験結果

リサーチクエスチョン

• RQ1 交差エントロピーの代わりに正則化されたMSE損失を使用することで、UFMにおけるコラプスした特徴の構造にどのような影響を与えるか？
• RQ2 バイアス項は、UFMにおけるコラプスした特徴および分類器重みの構造にどのような役割を果たすか？
• RQ3 ReLU活性化を備えた非線形拡張UFMは、実用的深層ネットワークで観測されたニューラルコラプス現象を正確にモデル化できるか？
• RQ4 特徴の摂動は、拡張UFMにおけるコラプス構造の安定性にどのように影響するか？
• RQ5 非線形拡張UFMは、CIFAR10で訓練された実際のResNet18モデルで観測されたニューラルコラプス指標（NC1–NC3）をどの程度再現できるか？

主な発見

• UFMにおける正則化されたMSE損失は、交差エントロピーで観察される単体ETF構造を超えて、直交性を含む強化された構造的特性を持つ特徴コラプスをもたらす。
• MSEに基づくUFMにバイアス項を組み込むことで、特徴の平均および分類器重みの両方に、より洗練され構造的なコラプスが実現される。
• 線形拡張UFMは、実用的ネットワークで観測される深さ方向のコラプスダイナミクスを完全に捉えることができず、非線形性の必要性を示している。
• ReLUを用いた非線形拡張UFMは、最も深い特徴における構造的コラプスを効果的に誘発し、NC1およびNC2指標がゼロに収束することで、クラス内分散の消失およびETFアライメントを示している。
• 実験的結果から、非線形拡張UFMのNC指標と、CIFAR10でMSE損失で訓練された良好なResNet18モデルのNC指標との間で、顕著な定性的および定量的類似性が確認された。
• 漸近的解析の結果、最初の層の特徴における固定摂動がコラプス構造を著しく崩さないことが示され、最小化子の堅牢性が示唆された。