[論文レビュー] Limitations of Neural Collapse for Understanding Generalization in Deep Learning

Like Hui, Mikhail Belkin+1 more|arXiv (Cornell University)|Feb 17, 2022

Neural Networks and Applications被引用数 10

ひとこと要約

この論文は、深層学習における一般化を説明するためのニューラルコラプスの限界を調査する。本研究では、ニューラルコラプスをトレインセットおよびテストセットのバージョンに精緻化し、トレーニング中にコラプスが信頼性高く発生する（最適化の側面）が、テスト分布ではコラプスが出現しないことを示している。重要であるが、コラプスの増加は、後続の転移性能を悪化させることと相関しており、コラプスが表現学習を向上させるという仮定に疑問を呈する。さらに、深層層において「段階的コラプス」が観察され、コラプスが最後の層から前の層へと伝搬する可能性があることが示唆されている。

ABSTRACT

The recent work of Papyan, Han, & Donoho (2020) presented an intriguing "Neural Collapse" phenomenon, showing a structural property of interpolating classifiers in the late stage of training. This opened a rich area of exploration studying this phenomenon. Our motivation is to study the upper limits of this research program: How far will understanding Neural Collapse take us in understanding deep learning? First, we investigate its role in generalization. We refine the Neural Collapse conjecture into two separate conjectures: collapse on the train set (an optimization property) and collapse on the test distribution (a generalization property). We find that while Neural Collapse often occurs on the train set, it does not occur on the test set. We thus conclude that Neural Collapse is primarily an optimization phenomenon, with as-yet-unclear connections to generalization. Second, we investigate the role of Neural Collapse in feature learning. We show simple, realistic experiments where training longer leads to worse last-layer features, as measured by transfer-performance on a downstream task. This suggests that neural collapse is not always desirable for representation learning, as previously claimed. Finally, we give preliminary evidence of a "cascading collapse" phenomenon, wherein some form of Neural Collapse occurs not only for the last layer, but in earlier layers as well. We hope our work encourages the community to continue the rich line of Neural Collapse research, while also considering its inherent limitations.

研究の動機と目的

• トレインセットとテストセットにおけるコラプスの違いを明確にすることで、ニューラルコラプス研究における曖昧さを解消すること。
• ニューラルコラプスが一般化を真正に説明しているのか、それとも単なる最適化の副産物にすぎないのかを調査すること。
• 転移学習ベンチマークを用いて、ニューラルコラプスが表現学習に与える影響を評価すること。
• コラプスが最後の層を超えて、より前の層へと拡張されるかどうかを調査すること。
• ニューラルコラプス研究プログラムの批判的評価を行い、その強みと限界を明らかにすること。

提案手法

• トレインセットおよびテストセットの両方について、弱いバージョンと強いバージョンの、精緻なニューラルコラプスの定式化を提案する。
• 複数のアーキテクチャ（例：ResNet18）およびデータセット（例：CIFAR-10）を用いて、トレインセットおよびテストセットにおける特徴のコラプスを実証的に評価する。
• トレインセットにおけるコラプスの度合いと、線形プローブおよびファインチューニングタスクにおける下流の転移性能との相関を測定する。
• 完全結合ネットワークを用いた制御実験により、隠れ層におけるコラプスの時間的順序を観察する。
• 分散に基づく指標を用いてコラプスを定量化し、各クラスの特徴の集中度を測定する。
• SGD with momentum、コサイン学習率スケジューリングを含む標準的な深層学習トレーニングプロトコルを適用し、現実的なトレーニングダイナミクスを保証する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルコラプスはテスト分布上でも発生するのか、それともトレインセットに限定されるのか？
• RQ2 トレインセットにおけるニューラルコラプスは、一般化性能を予測または向上させる程度はどの程度か？
• RQ3 より強いニューラルコラプスは、下流の転移精度によって測定される表現学習にとって有益なのか？
• RQ4 ニューラルコラプスは、深層ネットワークにおいて最後の層から前の層へと伝搬することができるのか？
• RQ5 ニューラルコラプスの予想を一般化にまで拡張する理論的・実証的限界は何か？

主な発見

• 複数のアーキテクチャおよびデータセットにおいて、トレインセット上ではニューラルコラプスが信頼性高く発生し、元の観察を確認した。
• テストセットでは、トレインセットでのコラプスが強くても、コラプスは実際には発生しない。これは、コラプスが一般化の性質ではないことを示している。
• トレインセットにおけるコラプスの増加は、下流の転移性能と逆相関しており、より強いコラプスは表現品質を低下させる可能性があることを示唆している。
• 実証的結果から、特徴の分散が大きい（コラプスが小さい）モデルが、下流タスクにおける線形プローブおよびファインチューニング精度をより良く達成することが分かった。
• 初期の証拠から、「段階的コラプス」という現象が示唆されており、トレーニング中に最後の層から順次前の層へとコラプスが現れる可能性がある。
• 標準的な仮定の下では、強いテストセットコラプスは理論的に不可能であるが、弱いテストコラプスは可能ではあるが、実際には観察されていない。