[논문 리뷰] On the Role of Neural Collapse in Transfer Learning

Tomer Galanti, András György외 1명|arXiv (Cornell University)|2021. 12. 30.

Domain Adaptation and Few-Shot Learning인용 수 11

한 줄 요약

이 논문은 기초 모델이 소수 샘플 전이 학습에서 뛰어난 성능을 내는 이유를 설명한다. 신경망 붕괴 현상—같은 클래스의 특징들이 최전단층에서 그 클래스 평균으로 수렴하는 현상—과 연결하여 설명한다. 저자들은 이론적·실험적으로 신경망 붕괴가 훈련 클래스의 새로운 샘플 뿐 아니라 완전히 새로운 클래스로의 일반화를 가능하게 하며, 고정된 특징 위에 선형 분류기를 미세조정함으로써 극소량의 레이블 데이터로도 강력한 소수 샘플 성능을 달성할 수 있음을 보여준다.

ABSTRACT

We study the ability of foundation models to learn representations for classification that are transferable to new, unseen classes. Recent results in the literature show that representations learned by a single classifier over many classes are competitive on few-shot learning problems with representations learned by special-purpose algorithms designed for such problems. In this paper we provide an explanation for this behavior based on the recently observed phenomenon that the features learned by overparameterized classification networks show an interesting clustering property, called neural collapse. We demonstrate both theoretically and empirically that neural collapse generalizes to new samples from the training classes, and -- more importantly -- to new classes as well, allowing foundation models to provide feature maps that work well in transfer learning and, specifically, in the few-shot setting.

연구 동기 및 목표

• 기초 모델이 목표 데이터가 극소수일 때도 새로운, 볼 수 없는 클래스로 잘 일반화되는 이유를 이해하는 것.
• 과다 파rameter화된 네트워크에서 관찰된 신경망 붕괴 현상이 훈련 클래스를 넘어서 새로운 클래스로까지 확장되는지 조사하는 것.
• 기초 모델의 고정된 특징 위에 선형 분류기를 미세조정하는 데 효과적인 이유를 이론적·실험적으로 정당화하는 것.
• 신경망 붕괴가 저자료 환경, 특히 소수 샘플 학습에서 강건한 일반화를 어떻게 가능하게 하는지 수식적으로 기술하는 것.

제안 방법

• 과다 파arameter화된 네트워크에서의 신경망 붕괴 이론적 분석을 통해 특징 군집화와 클래스 평균으로의 수렴을 중점적으로 다룸.
• 신경망 붕괴 가정 하에 새로운 샘플과 새로운 클래스에 대한 일반화 한계를 유도함.
• 레베슈 복잡도와 분산 기반 한계를 사용하여 신경망 붕괴 존재 시 일반화 오차를 정량화함.
• 이미지 분류 벤치마크에서의 실험적 검증을 통해 새로운 클래스로의 일반화 및 소수 샘플 성능를 확인함.
• 체르노프 및 가우시안 尾 확률 한계를 사용하여 신경망 붕괴 하에서 잘못 분류될 확률을 분석함.
• 전이 리스크와 일반화 갭 항을 수식화하여 새로운 작업에서 선형 분류기 성능를 모델링함.

실험 결과

연구 질문

• RQ1 기초 모델의 최전단층에서의 신경망 붕괴가 훈련 클래스의 새로운 샘플로의 일반화를 가능하게 하는가?
• RQ2 신경망 붕괴가 훈련 중에 볼 수 없었던 완전히 새로운 클래스로의 일반화를 가능하게 할 수 있는가?
• RQ3 신경망 붕괴의 존재가 소수 샘플 학습 시나리오에서 선형 분류기 성능에 어떤 영향을 미치는가?
• RQ4 신경망 붕괴가 성립할 경우 일반화 오차에 대해 유도할 수 있는 이론적 보장은 무엇인가?
• RQ5 신경망 붕괴가 기초 모델을 통한 전이 학습의 경험적 성공을 어느 정도 설명할 수 있는가?

주요 결과

• 신경망 붕괴는 훈련 클래스의 새로운 샘플로의 일반화를 가능하게 하며, 특징들이 클래스 평균 주위로 조밀하게 군집화됨.
• 현상은 새로운 클래스로까지 확장됨: 대규모 소스 클래스로 훈련된 모델에서 볼 수 없는 클래스의 특징 역시 군집화 행동을 보임.
• 신경망 붕괴를 보이는 모델의 특징 위에 훈련된 선형 분류기는 클래스당 몇 개의 레이블 예시만으로도 낮은 오차를 기록함.
• 이론적 한계는 일반화 오차가 소스 샘플 수와 특징 차원의 역수에 비례하여 감소함을 보여주며, 저자료 환경에서의 강건성을 뒷받침함.
• 구면 정규분포 가정 하에서 개선된 한계는 특징 차원과 소스 샘플 수 증가에 따라 오차가 지수적으로 감소함을 보여줌.
• 실험 결과는 신경망 붕괴를 보이는 모델가 새로운 클래스로 잘 일반화됨을 확인하며, 기초 모델의 강력한 소수 샘플 성능를 설명함.