[논문 리뷰] Neural collapse with unconstrained features

Dustin G. Mixon, Hans Parshall외 1명|arXiv (Cornell University)|2020. 11. 23.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 딥러닝에서 신경망 붕괴(neural collapse)를 설명하기 위해 제약 없는 특징 모델을 제안한다. 그 결과, 경험 위험(empirical risk)에 대한 경사하강법이 강한 신경망 붕괴(strong neural collapse)로 자연스럽게 이어짐을 보여주며, 이는 특징이 클래스 평균으로 붕괴되고, 클래스 중심들이 단순형 등각 타이트 프레임(simplex equiangular tight frame)을 이룬다는 것과 분류기가 특징 구조와 일치한다는 것을 포함한다. 핵심 결과는 이 모델에서 경험 위험의 전역 최소화점(global minimizers)이 정확히 강한 신경망 붕괴를 나타내며, 최적화 동역학에서 이러한 현상이 어떻게 발생하는지를 설명한다.

ABSTRACT

Neural collapse is an emergent phenomenon in deep learning that was recently discovered by Papyan, Han and Donoho. We propose a simple "unconstrained features model" in which neural collapse also emerges empirically. By studying this model, we provide some explanation for the emergence of neural collapse in terms of the landscape of empirical risk.

연구 동기 및 목표

• 제한된 이론적 이해에도 불구하고 딥러닝에서 신경망 붕괴가 어떻게 나타나는지 설명하기 위해.
• 신경망 아키텍처에 의해 제약받지 않는 간단한 제약 없는 특징 모델에서 신경망 붕괴를 연구하기 위해.
• 강한 신경망 붕괴로의 수렴을 촉진하는 경사하강 동역학 내의 불변 부분공간(invariant subspace)을 특정하기 위해.
• 경험 위험 최소화와 강한 신경망 붕괴의 기하학적 구조 사이의 직접적인 연결을 정식으로 규명하기 위해, 전역 최소화점의 정확한 특성화를 통해.

제안 방법

• 입력 공간에서 R^p로의 함수인 특징 매핑 h가 임의의 함수가 되는 제약 없는 특징 모델을 제안하여 아키텍처 제약을 제거한다.
• 경험 위험 R_e(H, W, b)를 목적 함수로 하는 (H, W, b)에 대한 경사 흐름 시스템을 정의한다.
• 경사 흐름이 불변이며 강한 신경망 붕괴로 수렴하는 初기 조건의 부분공간 S를 식별한다.
• 스펙트럼 분해와 특이값 분석을 사용하여 시간에 따라 W(t), H(t), b(t)의 진화를 추적한다.
• W^T W와 b에 대한 R_e(H, W, b)의 정확한 표현을 유도하며, 이는 강한 신경망 붕괴가 성립할 때 정확히 최소화됨을 보여준다.
• 제약 조건 (H, W, b) ∈ S 하에서 R_e의 전역 최소화점이 정확히 강한 신경망 붕괴를 보이는 경우임을 증명한다.

Figure 2: Gradient descent maintains small distance from the invariant subspace $S$ . Run gradient decent to minimize $R_{e}(H,W,b)$ for $C=N=3$ and $p=15$ , initializing at a random choice of $H_{0}$ and $W_{0}$ with $\|H_{0}\|_{F}=\|W_{0}\|_{F}=\varepsilon$ and $b_{0}=0$ . At each iteration, quant

실험 결과

연구 질문

• RQ1 오버파rameterized 딥러닝 모델에서 종료 단계 훈련 시 신경망 붕괴가 나타나는 이유는 무엇인가?
• RQ2 아키텍처 제약이 없는 간단한 모델이 여전히 신경망 붕괴를 재현할 수 있는가?
• RQ3 경사하강법에서 강한 신경망 붕괴를 유도하는 동역학적 시스템 성질은 무엇인가?
• RQ4 경험 위험 최소화와 신경망 붕괴의 기하학적 구조 사이에 직접적인 연결이 존재하는가?
• RQ5 제약 없는 설정에서 경사 흐름이 강한 신경망 붕괴로 수렴하는 조건은 무엇인가?

주요 결과

• 제약 없는 특징 모델은 강한 신경망 붕괴를 경험적으로 나타내며, 이는 현상이 아키텍처 제약 없이도 발생할 수 있음을 확인한다.
• 경사 흐름 동역학 내에 초기 조건의 부분공간 S가 존재하며, S에 속하는 임의의 초기화는 강한 신경망 붕괴로 수렴한다.
• 경사 흐름의 극한은 강한 신경망 붕괴 조건을 만족한다: 특징 붕괴(SNC1), 단순형 ETF 구조(SNC2), 자기쌍대성(SNC3).
• 경험 위험 R_e(H, W, b)는 (H, W, b)가 강한 신경망 붕괴를 보일 때 정확히 최소화되며, 최적화와 기하학 사이의 직접적 연결을 확립한다.
• 제약 조건 (H, W, b) ∈ S 하에서 R_e의 전역 최소화점은 정확히 강한 신경망 붕괴를 만족하는 경우이며, 이는 이 현상이 이 모델에서 최적임을 증명한다.
• t → ∞ 일 때 W(t)의 극한은 W_0의 영공간이 아닌 부분공간에 대한 투영에 비례하며, G(t)의 극한은 1_C의 직교 컴플리먼트에 대한 투영의 √N 배임을 확인하여 단순형 구조의 도래를 확인한다.