[논문 리뷰] Traces of Class/Cross-Class Structure Pervade Deep Learning Spectra

Vardan Papyan|arXiv (Cornell University)|2020. 08. 27.

Sparse and Compressive Sensing Techniques참고 문헌 74인용 수 8

한 줄 요약

이 논문은 딥 러닝 스펙트럼 내에서 기본적인 클래스/크로스클래스 구조를 규명하며, 피셔 정보 행렬과 헤시안에서 유래하는 클래스별 정보에 기인한 스펙트럼 이방성, '스パイ크', '범프'가 발생함을 보여준다. 이는 다항 로지스틱 회귀에서 이방성 수와 배경의 비율이 잘못 분류를 예측할 수 있음을 증명하며, 네트워크가 깊이에 따라 클래스 구별 정보를 정규직교화하는 방식을 설명하고, KFAC의 랭크-1 보정을 제안하여 최적화를 향상시킨다.

ABSTRACT

Numerous researchers recently applied empirical spectral analysis to the study of modern deep learning classifiers. We identify and discuss an important formal class/cross-class structure and show how it lies at the origin of the many visually striking features observed in deepnet spectra, some of which were reported in recent articles, others are unveiled here for the first time. These include spectral outliers, "spikes", and small but distinct continuous distributions, "bumps", often seen beyond the edge of a "main bulk". The significance of the cross-class structure is illustrated in three ways: (i) we prove the ratio of outliers to bulk in the spectrum of the Fisher information matrix is predictive of misclassification, in the context of multinomial logistic regression; (ii) we demonstrate how, gradually with depth, a network is able to separate class-distinctive information from class variability, all while orthogonalizing the class-distinctive information; and (iii) we propose a correction to KFAC, a well-known second-order optimization algorithm for training deepnets.

연구 동기 및 목표

• 딥 뉴럴 네트워크 헤시안과 피셔 정보 행렬의 스펙트럼 특징을 뒷받침하는 클래스/크로스클래스 구조를 규명하고 형식화하는 것.
• 딥 러닝 스펙트럼에서 관찰되는 뚜렷한 시각적 스펙트럼 패턴—이방성, 스파이크, 범프—의 기원을 설명하는 것.
• 스펙트럼 이방성 수와 배경의 비율이 다항 로지스틱 회귀에서 잘못 분류를 예측할 수 있음을 보여주는 것.
• 딥 네트워크가 깊이에 따라 클래스 특유의 정보를 클래스 변동성에서 점차 분리하면서 정규직교화하는 방식을 보여주는 것.
• 발견된 구조를 바탕으로 KFAC와 같은 이차 최적화 알고리즘을 향상시키기 위한 랭크-1 보정을 제안하는 것.

제안 방법

• 피셔 정보 행렬(FIM)과 헤시안의 스펙트럼 분석을 통해 클래스별 고유값 구조를 식별하는 데 사용한다.
• 클래스 평균에 해당하는 상위 C개의 고유값과 고유벡터를 추출하기 위해 부분공간 반복법을 적용하여 정밀한 스펙트럼 해상도를 가능하게 한다.
• 대규모 연산자의 스펙트럼을 효율적으로 추정하기 위해 정규화 및 비정규화를 적용한 Lanczos 근사법을 사용한다.
• 기존 랜덤 행렬 이론(RMT) 모델을 기각하기 위해, 주된 배경 외부의 고유값 분포 꼬리 행동을 분석하기 위해 등급법 적합을 수행한다.
• 피셔 정보 행렬의 상위 C개 고유벡터를 통합하여 KFAC에 대한 랭크-1 보정을 제안함으로써 최적화 안정성을 향상시킨다.
• 제어된 훈련 프rotocol을 사용하여 VGG11, ResNet18, MLP 등 다양한 아키텍처에서 MNIST, FashionMNIST, CIFAR10, CIFAR100에 대해 광범위한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 스펙트럼 내에서 스펙트럼 이방성, 스파이크, 범프의 기원은 무엇인가?
• RQ2 피셔 정보 행렬 내의 클래스/크로스클래스 구조가 헤시안 스펙트럼에 미치는 영향은 무엇인가?
• RQ3 스펙트럼 이방성 수와 배경의 비율이 다항 로지스틱 회귀에서 모델의 잘못 분류를 예측할 수 있는가?
• RQ4 네트워크의 내부 표현은 깊이에 따라 클래스 특유의 정보와 클래스 변동성 정보를 어떻게 분리하는가?
• RQ5 발견된 스펙트럼 구조를 활용하여 KFAC와 같은 이차 최적화 알고리즘을 향상시킬 수 있는가?

주요 결과

• 헤시안과 FIM 내 스펙트럼 이방성의 수는 항상 클래스 수 C와 일치하며, 이들은 클래스 평균의 기울기와 대응된다.
• FIM 스펙트럼 내 이방성 수와 배경의 비율은 다항 로지스틱 회귀에서 잘못 분류를 예측할 수 있으며, 비율이 클수록 잘못 분류 위험이 높아진다.
• 부분공간 반복법은 이방성 고유값의 정밀한 탐지와 함께 배경 분포의 해상도를 향상시켜 이전에 드러나지 않았던 스펙트럼 특징을 드러낸다.
• 헤시안의 스펙트럼은 주된 배경 외부에서 등급법 감소를 보이며, R² > 0.99의 적합도를 보여, 이는 고전적 랜덤 행렬 이론으로는 설명될 수 없음을 시사한다.
• 피셔 정보 행렬의 상위 C개 고유벡터를 기반으로 한 KFAC에 대한 제안된 랭크-1 보정은 클래스별 정보의 내재 기하학에 더 잘 부합함으로써 최적화를 향상시킨다.
• 클래스/크로스클래스 구조는 아키텍처와 데이터셋을 초월해 유지되며, 특히 스케일이 큰 상태의 최신 모델인 ResNet18에서도 동일하게 관찰된다.