[논문 리뷰] On the Optimization Landscape of Neural Collapse under MSE Loss: Global Optimality with Unconstrained Features

Jian Zhou, Li, Xiao외 4명|arXiv (Cornell University)|2022. 03. 02.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 제약 없는 특징 모델 하에서 평균 제곱 오차(MSE) 손실로 훈련된 딥 네ural 네트워크의 최초이자 종합적인 최적화 경관 분석을 제공한다. 모든 전역 최소화점은 신경망 붕괴(NC)를 보이며, 임의의 가짜 국소 최소점이 없고, 엄격한 안장점(Strict Saddle)만 존재한다. 또한 MSE 손실을 재스케일링하면 경관과 일반화 성능이 향상되며, 이는 ResNet18에서 실험적으로 검증되었다.

ABSTRACT

When training deep neural networks for classification tasks, an intriguing empirical phenomenon has been widely observed in the last-layer classifiers and features, where (i) the class means and the last-layer classifiers all collapse to the vertices of a Simplex Equiangular Tight Frame (ETF) up to scaling, and (ii) cross-example within-class variability of last-layer activations collapses to zero. This phenomenon is called Neural Collapse (NC), which seems to take place regardless of the choice of loss functions. In this work, we justify NC under the mean squared error (MSE) loss, where recent empirical evidence shows that it performs comparably or even better than the de-facto cross-entropy loss. Under a simplified unconstrained feature model, we provide the first global landscape analysis for vanilla nonconvex MSE loss and show that the (only!) global minimizers are neural collapse solutions, while all other critical points are strict saddles whose Hessian exhibit negative curvature directions. Furthermore, we justify the usage of rescaled MSE loss by probing the optimization landscape around the NC solutions, showing that the landscape can be improved by tuning the rescaling hyperparameters. Finally, our theoretical findings are experimentally verified on practical network architectures.

연구 동기 및 목표

• 실제로 교차 엔트로피(CE)보다 잘 작동하거나 동일한 성능을 보이는 손실 함수인 평균 제곱 오차(MSE) 손실 하에서 신경망 붕괴(NC)를 이론적으로 정당화하기 위해.
• 특징이 자유 최적화 변수인 비볼록 MSE 손실의 전역 최적화 경관을 분석하기 위해.
• NC 솔루션이 유일한 전역 최소화점이며, 나머지 모든 임계점은 음의 곡률 방향을 지닌 엄격한 안장점임을 보여주어 효율적인 최적화를 가능하게 하기 위해.
• 재스케일링 초파rameter가 MSE 손실의 최적화 경관과 일반화 성능에 미치는 영향을 조사하기 위해.
• miniImageNet 등의 데이터셋을 사용해 ResNet18과 같은 실제 아키텍처에서 이론적 결과를 실험적으로 검증하기 위해.

제안 방법

• 최종층의 특징과 분류기 모두 자유 변수인 제약 없는 특징 모델을 수식적으로 정의하여 네트워크 가중치로부터 분리한다.
• 임계점 분류를 통해 MSE 손실 경관을 분석하고, 전역 최소화점이 정확히 NC 솔루션과 일치함을 증명한다.
• 비전역 임계점이 엄격한 안장점임을 특성화하기 위해, 그 헤시안 행렬이 최소한 하나의 음의 고유값을 가짐을 보여준다.
• NC 솔루션 주변의 경관을 향상시키기 위해 두 개의 초파rameter(α와 M)를 가진 재스케일링된 MSE 손실을 도입한다.
• 경관 시각화와 ResNet18에서의 실험적 훈련을 통해 재스케일링이 NC 정도와 테스트 정확도에 미치는 영향을 분석한다.
• α와 M를 다양하게 설정하여 miniImageNet에서 실험을 수행하고, 재스케일링과 NC 향상 및 일반화 성능 향상 간의 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 제약 없는 특징 모델 하에서 MSE 손실이 유일한 전역 해로서 신경망 붕괴(NC)를 유도하는가?
• RQ2 비볼록 MSE 손실의 전역 최적화 경관은 어떠한가—특히, 가짜 국소 최소점이 존재하는가 아니면 엄격한 안장점만 존재하는가?
• RQ3 MSE 손실을 재스케일링하면 최적화 경관과 일반화 성능에 어떤 영향을 미치는가?
• RQ4 재스케일링의 이론적 이점이 실제 딥 네트워크 훈련에서 관찰될 수 있는가?
• RQ5 MSE 기반 NC와 CE 기반 NC는 훈련 동적 및 내성에 있어 어떻게 비교되는가?

주요 결과

• 제약 없는 특징 모델 하에서 MSE 손실의 모든 전역 최소화점은 신경망 붕괴 솔루션을 보이며, 클래스 평균은 단순형 등각 프레임(ETF)을 이루고, 내부 클래스 변동성은 0으로 붕괴된다.
• 비전역 임계점은 모두 엄격한 안장점이며, 그 헤시안 행렬이 최소한 하나의 음의 고유값을 지닌다. 이는 1차 방법을 통한 효율적 탈출이 가능함을 의미한다.
• 초파rameter α와 M를 사용한 MSE 손실 재스케일링은 최적화 경관을 향상시키며, 결정 경계 근처의 점 수를 줄이고 일반화 성능을 향상시킨다.
• ResNet18에서의 실험 결과, α 또는 M를 증가시킬수록 NC 정도가 강화되고, 훈련 및 테스트 정확도가 높아짐을 관찰했다.
• NC 정도와 모델 성능은 재스케일링 초파라미터와 정비례하며, 이는 MSE 손실에서 최적 성능을 내기 위해 재스케일링이 필수적임을 시사한다.
• 이러한 결과는 신경망 붕괴가 MSE로 훈련된 네트워크로까지 확장됨을 보여주며, 최적화 알고리즘이 엄격한 안장점에서 벗어나면 어떤 알고리즘을 사용하든, 충분한 표현력을 가진 아키텍처에서는 항상 발생함을 나타낸다.