[논문 리뷰] Extended Unconstrained Features Model for Exploring Deep Neural Collapse

Tom Tirer, Joan Bruna|arXiv (Cornell University)|2022. 02. 16.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 정규화된 평균제곱오차(MSE) 손실과 ReLU 활성화를 갖는 비선형 구조를 가진 신경망에서 깊은 신경망 붕괴(DNC)를 분석하기 위해 비제약 특징 모델(UFM)을 확장한다. MSE 손실이 교차엔트로피 대비 더 구조적인 특징 붕괴(예: 직교성)를 가능하게 함을 보이며, 비선형 확장 UFM이 실질적인 신경망, 예를 들어 CIFAR10에서 학습된 ResNet18에서도 DNC를 정확하게 모델링할 수 있음을 보여준다.

ABSTRACT

The modern strategy for training deep neural networks for classification tasks includes optimizing the network's weights even after the training error vanishes to further push the training loss toward zero. Recently, a phenomenon termed "neural collapse" (NC) has been empirically observed in this training procedure. Specifically, it has been shown that the learned features (the output of the penultimate layer) of within-class samples converge to their mean, and the means of different classes exhibit a certain tight frame structure, which is also aligned with the last layer's weights. Recent papers have shown that minimizers with this structure emerge when optimizing a simplified "unconstrained features model" (UFM) with a regularized cross-entropy loss. In this paper, we further analyze and extend the UFM. First, we study the UFM for the regularized MSE loss, and show that the minimizers' features can have a more delicate structure than in the cross-entropy case. This affects also the structure of the weights. Then, we extend the UFM by adding another layer of weights as well as ReLU nonlinearity to the model and generalize our previous results. Finally, we empirically demonstrate the usefulness of our nonlinear extended UFM in modeling the NC phenomenon that occurs with practical networks.

연구 동기 및 목표

• 정규화된 평균제곱오차(MSE) 손실 하에서 비제약 특징 모델(UFM)의 구조적 특징 붕괴의 발생을 분석하기 위해.
• 실제 세계의 깊은 신경망을 더 잘 모델링하기 위해 추가적인 선형층과 ReLU 비선형성을 UFM에 통합하여 UFM을 확장하기 위해.
• 편향과 정규화가 붕괴된 특징과 분류기 가중치의 구조에 미치는 영향을 조사하기 위해.
• 비선형 확장 UFM이 ResNet18과 같은 실질적 네트워크에서 관찰된 신경망 붕괴 현상을 정확하게 포괄할 수 있음을 보여주기 위해.
• 확장된 UFM이 깊은 네트워크 최적화 역학을 모델링하는 데 있어 이론적이고 경험적으로 타당한 이유를 제공하기 위해.

제안 방법

• 입력 데이터와 독립적인 최적화 변수로 특징을 취급하면서, UFM 프레임워크 내에서 정규화된 MSE 손실을 수식화하기 위해.
• MSE 기반 UFM의 최소화자 분석을 통해 편향 항이 직교성과 같은 더 구조적인 특징 붕괴를 가능하게 함을 보여주기 위해.
• ReLU 비선형성을 갖는 이중층 확장 UFM을 도입하여 가장 깊은 특징이 비선형 변환의 출력으로 모델링되도록 하기 위해.
• 일부 조건 하에서 비선형 확장 UFM이 가장 깊은 특징을 단순형 등각 프레임(ETF)으로 구조적으로 붕괴시킬 수 있음을 증명하기 위해.
• 붕괴된 구조 주변의 특징 편향에 대한 점점 가까운 분석을 수행하여 안정성 평가하기 위해.
• CIFAR10에서 MSE 손실로 학습된 ResNet18을 사용하여 경험적으로 모델을 검증하고, 확장 UFM의 신경망 붕괴 지표와 비교하기 위해.

실험 결과

연구 질문

• RQ1 교차엔트로피 대비 정규화된 MSE 손실을 사용할 경우 UFM 내에서 붕괴된 특징의 구조에 어떤 영향을 미치는가?
• RQ2 편향 항은 UFM 내에서 붕괴된 특징과 분류기 가중치의 구조에 어떤 역할을 하는가?
• RQ3 ReLU 활성화를 갖는 비선형 확장 UFM은 실질적인 깊은 신경망에서 관찰된 신경망 붕괴 현상을 정확하게 모델링할 수 있는가?
• RQ4 특징의 편향은 확장 UFM 내에서 붕괴된 구조의 안정성에 어떤 영향을 미치는가?
• RQ5 비선형 확장 UFM은 실제로 CIFAR10에서 학습된 ResNet18 모델에서 관찰된 신경망 붕괴 지표(NC1–NC3)를 어느 정도 재현하는가?

주요 결과

• UFM 내 정규화된 MSE 손실은 교차엔트로피에서 관찰되는 단순형 ETF 구조를 초월하여, 직교성과 같은 향상된 구조적 특성을 갖는 특징 붕괴를 이끈다.
• MSE 기반 UFM에 편향 항을 포함시킴으로써 특징 평균과 분류기 가중치 모두에 더 정교하고 구조적인 붕괴가 가능해짐을 보여준다.
• 선형 확장 UFM은 실질 네트워크에서 관찰된 깊이 방향 붕괴 역학을 완전히 포괄하지 못함을 보이며, 비선형성의 필요성을 강조한다.
• ReLU 기반 비선형 확장 UFM은 가장 깊은 특징에서 구조적인 붕괴를 성공적으로 유도하며, NC1 및 NC2 지표가 0으로 수렴함으로써 내부 클래스 분산이 사라지고 ETF 정렬이 이루어짐을 나타낸다.
• 경험적 결과로 비선형 확장 UFM의 NC 지표와 MSE 손실로 학습된 잘 조정된 ResNet18의 NC 지표 사이에 강력한 정성적·정량적 유사성이 관찰된다.
• 점점 가까운 분석 결과, 첫 번째 레이어 특징의 고정된 편향이 붕괴된 구조를 크게 손상시키지 않음을 보여주며, 최소화자에 대한 강건성을 시사한다.