[논문 리뷰] Imbalance Trouble: Revisiting Neural-Collapse Geometry

Christos Thrampoulidis, Ganesh Ramachandra Kini외 2명|arXiv (Cornell University)|2022. 08. 10.

Imbalanced Data Classification Techniques인용 수 13

한 줄 요약

이 논문은 클래스 불균형에 영향을 받지 않는 Neural Collapse 기하학의 일반화로 Simplex-Encoded-Labels Interpolation (SELI)를 제안한다. 교차 엔트로피 손실과 점점 줄어드는 정규화 조건 하에서, 임베딩과 분류기들이 클래스 불균형 여부에 관계없이 항상 단형으로 표현된 레이블 행렬을 내삽함을 증명한다. 이로 인해 유도되는 기하학은 해당 레이블 행렬의 특이값 분해(SVD)에 의해 완전히 결정되며, 노름과 각도는 불균형 비율과 클래스 수에 의해 명시적으로 기술된다. 이는 불균형 데이터 하에서 모델 기하학에 대한 통합적이고 닫힌 형태의 기술을 제공한다.

ABSTRACT

Neural Collapse refers to the remarkable structural properties characterizing the geometry of class embeddings and classifier weights, found by deep nets when trained beyond zero training error. However, this characterization only holds for balanced data. Here we thus ask whether it can be made invariant to class imbalances. Towards this end, we adopt the unconstrained-features model (UFM), a recent theoretical model for studying neural collapse, and introduce Simplex-Encoded-Labels Interpolation (SELI) as an invariant characterization of the neural collapse phenomenon. Specifically, we prove for the UFM with cross-entropy loss and vanishing regularization that, irrespective of class imbalances, the embeddings and classifiers always interpolate a simplex-encoded label matrix and that their individual geometries are determined by the SVD factors of this same label matrix. We then present extensive experiments on synthetic and real datasets that confirm convergence to the SELI geometry. However, we caution that convergence worsens with increasing imbalances. We theoretically support this finding by showing that unlike the balanced case, when minorities are present, ridge-regularization plays a critical role in tweaking the geometry. This defines new questions and motivates further investigations into the impact of class imbalances on the rates at which first-order methods converge to their asymptotically preferred solutions.

연구 동기 및 목표

• 클래스 불균형 데이터 하에서 딥 네URAL 네트워크 솔루션의 통합적 기하학적 기술이 부족한 문제를 해결하기 위해, 기존 Neural Collapse 이론이 균형 잡힌 데이터에만 적용된다는 점을 고려한다.
• 균형 잡힌 데이터의 등각적 타이트 프레임(ETF) 기하학을 불균형 설정으로 일반화하는 이론적으로 탄탄한 불변 기술을 개발한다.
• 특히 리지 정규화가 소수 클래스가 존재할 때 기하학을 어떻게 형성하는지 규명한다.
• 비균형 데이터 하에서 임베딩과 분류기의 공동 기하학을 이해하기 위한 닫힌 형태로 해석 가능한 프레임워크를 제공한다. 이는 Unconstrained-Features Model (UFM)을 활용한다.

제안 방법

• 클래스 불균형 하에서 Neural Collapse를 연구하기 위해 두 층으로 구성된 프록시로 Unconstrained-Features Model (UFM)을 채택한다.
• 단형으로 표현된 레이블(SEL) 행렬을 정의한다. 이는 각 클래스가 $1 - 1/k$와 $-1/k$ 값을 갖는 고유한 one-hot 유사 패턴을 가지며, $\mathbb{R}^k$에서 단형을 이룬다.
• 교차 엔트로피 손실과 점점 줄어드는 정규화 조건 하에서, 학습된 로짓 행렬이 클래스 불균형 여부에 관계없이 정확히 SEL 행렬을 내삽함을 증명한다.
• 임베딩과 분류기의 기하학은 각각 SEL 행렬의 좌변 및 우변 특이벡터에 의해 완전히 결정됨을 보여준다.
• SEL 행렬의 SVD 분해를 통해 클래스 중심과 분류기 가중치의 노름과 각도에 대한 닫힌 형태의 표현식을 유도한다.
• 합성 및 실제 데이터셋에서의 실험을 통해 모델이 SELI 기하학으로 수렴함을 확인하였으며, 불균형 정도가 증가할수록 성능 저하가 발생함을 입증한다.

실험 결과

연구 질문

• RQ1 클래스 불균형에 대해 불변인 신경망 솔루션의 기하학적 기술을 개발할 수 있는가? 이는 균형 잡힌 데이터의 Neural Collapse 현상의 일반화일 수 있는가?
• RQ2 교차 엔트로피 손실로 불균형 데이터를 학습한 딥 네트워크의 로짓 행렬이 구조화된 레이블 행렬을 내삽하는가? 만약 그렇다면 그 형태는 무엇인가?
• RQ3 이러한 기하학 하에서, 임베딩과 분류기의 노름과 각도는 불균형 비율과 클래스 수에 따라 어떻게 달라지는가?
• RQ4 소수 클래스가 존재할 때 리지 정규화는 기하학을 형성하는 데 어떤 역할을 하는가? 균형 잡힌 경우와 비교하여 설명하라.
• RQ5 SELI 기하학은 실질적으로 관찰된 소수 클래스와 주로 클래스의 노름 차이를 설명하고 정량화하는 데 사용될 수 있는가?

주요 결과

• 교차 엔트로피 손실과 점점 줄어드는 정규화 조건 하에서, 학습된 로짓 행렬은 클래스 불균형 여부에 관계없이 정확히 단형으로 표현된 레이블(SEL) 행렬을 내삽한다.
• 임베딩과 분류기의 기하학은 SEL 행렬의 SVD 요소에 의해 완전히 결정되며, 노름과 각도는 불균형 비율과 클래스 수에 따라 닫힌 형태로 기술된다.
• SELI 기하학은 ETF 기하학을 일반화한다: 균형 잡힌 경우나 두 클래스일 경우에 ETF로 축소되지만, 불균형 수준에 관계없이 불변성을 유지한다.
• 합성 및 실제 데이터셋에 대한 광범위한 실험을 통해 SELI 기하학으로의 수렴이 불균형 정도가 증가함에 따라 저하됨을 확인하였다.
• 리지 정규화는 불균형 조건 하에서 기하학을 형성하는 데 결정적인 역할을 하며, 균형 잡힌 경우와 달리 영향력이 크다.
• 이론적 분석을 통해 소수 클래스의 분류기 노름이 주로 클래스의 노름보다 작다는 것이 확인되었으며, 이는 이전 연구에서 관찰된 실증 결과와 정량적으로 일치한다.