[論文レビュー] On the Role of Neural Collapse in Transfer Learning

Tomer Galanti, András György+1 more|arXiv (Cornell University)|Dec 30, 2021

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

この論文は、基礎モデルが少サンプル転移学習で優れた性能を発揮する理由を、特徴量が同じクラスに属するものが最終層の直前でクラス平均に収束する現象であるニューラルコラプスと結びつけて説明している。著者らは理論的および実験的に、ニューラルコラプスが、トレーニングで使用されたクラスの未観測サンプルへの一般化に加え、まったく新しいクラスへの一般化を可能にすることを示しており、固定された特徴量の上に線形分類器を微調整することで、最小限のラベル付きデータで優れた少サンプル性能を達成できることを示している。

ABSTRACT

We study the ability of foundation models to learn representations for classification that are transferable to new, unseen classes. Recent results in the literature show that representations learned by a single classifier over many classes are competitive on few-shot learning problems with representations learned by special-purpose algorithms designed for such problems. In this paper we provide an explanation for this behavior based on the recently observed phenomenon that the features learned by overparameterized classification networks show an interesting clustering property, called neural collapse. We demonstrate both theoretically and empirically that neural collapse generalizes to new samples from the training classes, and -- more importantly -- to new classes as well, allowing foundation models to provide feature maps that work well in transfer learning and, specifically, in the few-shot setting.

研究の動機と目的

• 限られたターゲットデータしかないにもかかわらず、基礎モデルが新しい未観測クラスにどのようにうまく一般化できるかを理解すること。
• 過剰パラメータ化されたネットワークで観察されるニューラルコラプス現象が、トレーニングで使われたクラスにとどまらず、新しいクラスに対しても拡張可能かどうかを調査すること。
• 基礎モデルの固定された特徴量の上に線形分類器を微調整する有効性について、理論的および実験的根拠を提供すること。
• ニューラルコラプスが低データ環境下、特に少サンプル学習において、どのようにして頑健な一般化を可能にするかを形式化すること。

提案手法

• 過剰パラメータ化されたネットワークにおけるニューラルコラプスの理論的分析。特徴量のクラスタリングおよびクラス平均への収束に焦点を当てる。
• ニューラルコラプス仮定の下で、未観測サンプルおよび新しいクラスに対する一般化バウンドの導出。
• ラデマッハ複雑度および分散に基づくバウンドを用いて、ニューラルコラプスの存在下での一般化誤差を定量化。
• 画像分類ベンチマークを用いた実験的検証により、未観測クラスへの一般化および少サンプル性能の妥当性を確認。
• チェルノフおよびガウスの尾部バウンドを用いて、ニューラルコラプス下での誤分類確率の分析。
• 転移リスクおよび一般化ギャップ項の定式化により、新しいタスクにおける線形分類器の性能をモデル化。

実験結果

リサーチクエスチョン

• RQ1 基礎モデルの最終層の直前におけるニューラルコラプスは、トレーニングクラスの未観測サンプルへの一般化を可能にするか？
• RQ2 ニューラルコラプスは、事前学習中に観測されていないまったく新しいクラスに対しても一般化を可能にするか？
• RQ3 ニューラルコラプスの存在が、少サンプル学習シナリオにおける線形分類器の性能にどのように影響するか？
• RQ4 ニューラルコラプスが成立する場合に、一般化誤差についてどのような理論的保証を得られるか？
• RQ5 ニューラルコラプスは、基礎モデルを用いた転移学習の実験的成功をどの程度説明できるか？

主な発見

• ニューラルコラプスにより、トレーニングクラスの未観測サンプルへの一般化が可能となり、特徴量がクラス平均に密に集約される。
• この現象は新しいクラスに対しても拡張可能である：大規模なソースクラスのセットで学習されたモデルでは、未観測クラスの特徴量に対してもクラスタリング行動が観察される。
• ニューラルコラプスを示すモデルの特徴量の上に訓練された線形分類器は、各クラスに対して数個のラベル付き例しか使用しなくても、低い誤差を達成する。
• 理論的バウンドにより、一般化誤差がソースサンプル数および特徴量次元の逆数に従って減少することが示され、低データ環境下での頑健性を支持する。
• 球面ガウス分布仮定の下での改良バウンドにより、特徴量次元およびソースサンプルサイズの増加に伴い、誤差が指数関数的に減少することが示された。
• 実験的結果により、ニューラルコラプスを示すモデルが新しいクラスにうまく一般化することが確認され、基礎モデルの強い少サンプル性能の背後にある要因が明らかになった。