[논문 리뷰] A Geometric Analysis of Neural Collapse with Unconstrained Features

Zhihui Zhu, Tianyu Ding외 5명|arXiv (Cornell University)|2021. 05. 06.

Medical Image Segmentation Techniques참고 문헌 113인용 수 43

한 줄 요약

본 논문은 무제약 피처 모델하에서 신경 붕괴(neural collapse)의 전역 최적화 지형을 분석하고, 가중치 감소가 있는 교차 엔트로피가 전역 단순체 ETF 해(solution) 또는 엄격한 사다리점(strict saddles)만을 가짐을 증명하여 효율적 최적화가 가능하고 마지막 계층 피처가 Simplex ETF에 정렬되는 이유를 설명합니다.

ABSTRACT

We provide the first global optimization landscape analysis of $Neural\;Collapse$ -- an intriguing empirical phenomenon that arises in the last-layer classifiers and features of neural networks during the terminal phase of training. As recently reported by Papyan et al., this phenomenon implies that ($i$) the class means and the last-layer classifiers all collapse to the vertices of a Simplex Equiangular Tight Frame (ETF) up to scaling, and ($ii$) cross-example within-class variability of last-layer activations collapses to zero. We study the problem based on a simplified $unconstrained\;feature\;model$, which isolates the topmost layers from the classifier of the neural network. In this context, we show that the classical cross-entropy loss with weight decay has a benign global landscape, in the sense that the only global minimizers are the Simplex ETFs while all other critical points are strict saddles whose Hessian exhibit negative curvature directions. In contrast to existing landscape analysis for deep neural networks which is often disconnected from practice, our analysis of the simplified model not only does it explain what kind of features are learned in the last layer, but it also shows why they can be efficiently optimized in the simplified settings, matching the empirical observations in practical deep network architectures. These findings could have profound implications for optimization, generalization, and robustness of broad interests. For example, our experiments demonstrate that one may set the feature dimension equal to the number of classes and fix the last-layer classifier to be a Simplex ETF for network training, which reduces memory cost by over $20\%$ on ResNet18 without sacrificing the generalization performance.

연구 동기 및 목표

• 마지막 계층 피처와 분류기에서 Neural Collapse 현상을 동기화하고 formalize한다.
• 정규화된 피처 모델을 연구하여 마지막 계층 간 상호작용을 분리하고 교차 엔트로피 손실 하에서 최적화 지형을 분석한다.
• 전역 최소점과 임계점을 특징지어 Neural Collapse 구조로의 효율적 수렴을 설명한다.
• 마지막 계층 가중치를 Simplex ETF로 고정하는 등의 네트워크 설계에 대한 실용적 시사점을 제시하고 메모리 사용을 줄인다.
• 최적화 지형의 결과를 일반화, 강건성, 그리고 딥러닝의 귀납적 편향에 관한 더 넓은 질문과 연결한다.

제안 방법

• 마지막 계층 피처와 분류기가 최적화 변수인 무제약 피처(레이어-피리드) 모델을 채택한다.
• 가중치 감소를 W와 H에 적용하고 바이어스 항까지 포함하는 정규화된 교차 엔트로피 목표 함수 f(W,H,b)를 형식화한다.
• 전역 최적성: 전역 최소점은 스케일링/회전에 대해 대응하는 H 및 b 조건과 함께 W가 K-단위-형 ETF를 형성하는 경우와 대응한다.
• 지형이 오해의 소지가 없는 지역 최솟값을 갖는 엄격한 사다리점 함수임을 보여 SGD가 전역 최적해로 수렴함을 보인다.
• 문제를 Burer–Mron 또는 유사한 관점에 의한 저랭크 행렬 인수분해와 연관지어 해를 분석하기 위한 볼록관계(convex-relations)를 활용한다.
• d ≥ K의 피처 차원 및 ETF 분류기를 고정했을 때의 메모리 비용 절감 가능성과 같은 실용적 훈련 인사이트를 제시한다.

실험 결과

연구 질문

• RQ1 교차 엔트로피와 가중치 감소 하에서 무제한 피처 모델의 전역 최소점이 Simplex ETF를 형성하는가?
• RQ2 지형이 오해의 소지가 없는 국소 최소값 없이 모든 비전역 임계점이 음의 곡률을 가진 엄격한 사다점인가(Strict saddles)?
• RQ3 무제한 피처 모델 하에서 전역 최적점에서 마지막 계층 피처와 바이어스는 어떻게 동작하는가?
• RQ4 이 이론적 시찰들이 실험적 Neural Collapse를 설명하고 실용적 네트워크 설계 선택(예: ETF 분류기 고정, d≥K 설정)에 어떤 정보를 주는가?

주요 결과

• 교차 엔트로피 손실과 가중치 감소를 가진 무제약 피처 모델의 전역 최소점은 정렬된 피처 및 바이어스 구조를 갖춘 Simplex ETF 기반 분류기로 귀결된다.
• 지형은 오해의 소지가 있는 국소 최소값이 없고, 비전역 임계점은 모두 음의 곡률을 가진 엄격한 사다점이다.
• d ≥ K이고 클래스 샘플이 균형 잡힌 경우, 모형의 임계점은 내적 내 피처가 단일 클래스로 수렴하고 클래스 평균이 구면에서 최대한 분리된 Neural Collapse를 보인다.
• 바이어스 항은 공통 값으로 수렴하고, 특정 비음수 피처 제약하에서 ETF 구조가 바이어스를 조정한 후에도 지속된다.
• 실험적 결과는 마지막 계층 분류기를 Simplex ETF로 고정하는 것이 메모리 비용을 감소시키면서도 성능 저하 없이 실제적 결과와 일치함을 보여준다.