[논문 리뷰] Limitations of Neural Collapse for Understanding Generalization in Deep Learning

Like Hui, Mikhail Belkin외 1명|arXiv (Cornell University)|2022. 02. 17.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 신경망의 일반화를 설명하는 데 있어 Neural Collapse의 한계를 조사한다. Neural Collapse를 학습 세트 및 테스트 세트 버전으로 개선하여, 학습 중에 안정적으로 발생하지만 테스트 분포에서는 나타나지 않는다는 것을 입증한다. 특히, 증가하는 Collapse는 후행 전이 성능을 악화시키며, 이는 Collapse가 표현 학습을 향상시킨다는 가정을 도전한다. 저자들은 또한 더 깊은 층에서 '연쇄적 Collapse'를 관찰하여, Collapse가 마지막 층에서부터 앞선 층으로 퍼져나갈 수 있음을 시사한다.

ABSTRACT

The recent work of Papyan, Han, & Donoho (2020) presented an intriguing "Neural Collapse" phenomenon, showing a structural property of interpolating classifiers in the late stage of training. This opened a rich area of exploration studying this phenomenon. Our motivation is to study the upper limits of this research program: How far will understanding Neural Collapse take us in understanding deep learning? First, we investigate its role in generalization. We refine the Neural Collapse conjecture into two separate conjectures: collapse on the train set (an optimization property) and collapse on the test distribution (a generalization property). We find that while Neural Collapse often occurs on the train set, it does not occur on the test set. We thus conclude that Neural Collapse is primarily an optimization phenomenon, with as-yet-unclear connections to generalization. Second, we investigate the role of Neural Collapse in feature learning. We show simple, realistic experiments where training longer leads to worse last-layer features, as measured by transfer-performance on a downstream task. This suggests that neural collapse is not always desirable for representation learning, as previously claimed. Finally, we give preliminary evidence of a "cascading collapse" phenomenon, wherein some form of Neural Collapse occurs not only for the last layer, but in earlier layers as well. We hope our work encourages the community to continue the rich line of Neural Collapse research, while also considering its inherent limitations.

연구 동기 및 목표

• 학습 세트와 테스트 세트의 Collapse를 구분함으로써 Neural Collapse 연구의 모호함을 명확히 하기.
• Neural Collapse이 진정으로 일반화를 설명하는지 아니면 단지 최적화의 산물인지 조사하기.
• 전이 학습 벤치마크를 사용하여 Neural Collapse이 표현 학습에 미치는 영향 평가하기.
• Collapse가 마지막 층을 넘어서 더 이른 층으로까지 확장되는지 탐구하기.
• Neural Collapse 연구 프로그램에 대한 비판적 평가 제공하여 그 강점과 한계를 제시하기.

제안 방법

• 학습 세트 및 테스트 세트에 대한 약한 및 강한 버전의 Neural Collapse를 정밀하게 정의한 새로운 제안.
• 다양한 아키텍처(예: ResNet18)와 데이터셋(예: CIFAR-10)을 대상으로 학습 세트 및 테스트 세트에서의 특징 Collapse에 대한 실증적 평가 수행.
• 학습 세트 Collapse 정도와 선형 프로브 및 파인튜닝 작업에서의 후행 전이 성능 간 상관관계 측정.
• 완전히 연결된 네트워크에서 제어 실험을 수행하여 은닉 층들 사이에서 Collapse가 시간 순서대로 어떻게 발생하는지 관찰하기.
• 특징의 클래스 간 농도를 측정함으로써 Collapse를 정량화하기 위해 분산 기반 지표 사용.
• 실제적인 학습 동역학을 보장하기 위해 표준 딥 러닝 학습 프로토콜(SGD with momentum, 코스인 학습률 감쇠) 적용.

실험 결과

연구 질문

• RQ1 Neural Collapse은 테스트 분포에서도 발생하는가, 아니면 학습 세트에 국한되는가?
• RQ2 학습 세트에서의 Neural Collapse는 일반화 성능을 얼마나 잘 예측하거나 향상시키는가?
• RQ3 전이 정확도를 측정했을 때, 증가하는 Neural Collapse는 표현 학습에 유익한가?
• RQ4 딥 네트워크에서 Collapse가 마지막 층에서 더 이른 층으로 퍼져나갈 수 있는가?
• RQ5 일般화로의 Neural Collapse 추측을 확장하는 데 이론적 및 실증적 한계는 무엇인가?

주요 결과

• 다양한 아키텍처와 데이터셋에서 학습 세트에서 Neural Collapse가 안정적으로 발생함을 확인하여 원래의 관측 결과를 재확인한다.
• 학습 세트에서 강한 Collapse가 있더라도 실제로는 테스트 세트에서 Collapse가 발생하지 않으며, 이는 Collapse가 일반화 성질이 아니라는 것을 시사한다.
• 학습 세트에서의 증가하는 Collapse는 후행 전이 성능과 반비례하며, 이는 더 많은 Collapse가 표현 품질을 떨어뜨릴 수 있음을 시사한다.
• 실증 결과에 따르면, 더 높은 특징 분산(낮은 Collapse)을 가진 모델이 후행 작업에서 선형 프로브 및 파인튜닝 정확도에서 더 뛰어난 성능을 보였다.
• 초기 결과에 따르면 '연쇄적 Collapse' 현상이 존재하는 것으로 보이며, 이는 학습 도중 마지막 층에서부터 뒤로 거슬러 올라가 더 이른 층으로 Collapse가 순차적으로 발생한다는 것을 시사한다.
• 표준 가정 하에 강한 테스트 세트 Collapse는 이론적으로 불가능하며, 약한 테스트 세트 Collapse는 가능하지만 실제로 관측되지 않는다.