[논문 리뷰] Layer-Peeled Model: Toward Understanding Well-Trained Deep Neural Networks.

Cong Fang, Hangfeng He외 2명|arXiv (Cornell University)|2021. 01. 29.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 8

한 줄 요약

논문은 깊이 있는 신경망의 최종 레이어를 분리하고 특성 및 분류기 레이어에 제약 조건을 부과함으로써 단순화되면서도 분석적으로 다룰 수 있는 프레임워크인 Layer-Peeled Model을 소개한다. 이 모델은 균형 잡힌 데이터셋에서 신경망 붕괴(neural collapse)를 설명하고, 클래스 불균형 설정에서 새로운 현상인 소수자 붕괴(Minority Collapse)를 예측하며, 부족한 소수자 클래스 성능을 완화하는 데 통찰을 제공한다.

ABSTRACT

In this paper, we introduce the Layer-Peeled Model, a nonconvex yet analytically tractable optimization program, in a quest to better understand deep neural networks that are trained for a sufficiently long time. As the name suggests, this new model is derived by isolating the topmost layer from the remainder of the neural network, followed by imposing certain constraints separately on the two parts. We demonstrate that the Layer-Peeled Model, albeit simple, inherits many characteristics of well-trained neural networks, thereby offering an effective tool for explaining and predicting common empirical patterns of deep learning training. First, when working on class-balanced datasets, we prove that any solution to this model forms a simplex equiangular tight frame, which in part explains the recently discovered phenomenon of neural collapse in deep learning training [PHD20]. Moreover, when moving to the imbalanced case, our analysis of the Layer-Peeled Model reveals a hitherto unknown phenomenon that we term Minority Collapse, which fundamentally limits the performance of deep learning models on the minority classes. In addition, we use the Layer-Peeled Model to gain insights into how to mitigate Minority Collapse. Interestingly, this phenomenon is first predicted by the Layer-Peeled Model before its confirmation by our computational experiments.

연구 동기 및 목표

• 잘 훈련된 깊이 신경망의 핵심 행동을 포착하는 단순화되고 분석적으로 다룰 수 있는 모델을 개발하는 것.
• 기하학적 프레임워크를 통해 균형 잡힌 데이터셋에서 신경망 붕괴가 어떻게 발생하는지 설명하는 것.
• 불균형 데이터셋에서 소수자 클래스에 대한 깊이 신경망 모델의 성능 제한을 조사하는 것.
• 부족한 클래스에서의 성능 제약을 초래하는 새로운 현상인 소수자 붕괴(Minority Collapse)를 식별하고 분석하는 것.
• 모델에서 도출된 이론적 통찰을 바탕으로 소수자 붕괴를 완화하기 위한 전략을 제안하는 것.

제안 방법

• Layer-Peeled Model은 네트워크의 나머지 부분에서 최상위 분류 레이어를 분리하여 특성과 가중치를 별개의 구성요소로 간주한다.
• 특성 임bedding과 분류기 가중치에 제약 조건을 도입함으로써 최적화 문제를 비볼록이지만 분석적으로 해결 가능한 형태로 축소한다.
• 균형 잡힌 데이터에서 최적 해의 기하학적 구조를 도출하여, 그것이 단체 등각 타이트 프레임(simplex equiangular tight frame)을 이룬다는 것을 증명한다.
• 불균형 데이터에 대해서는 분류기와 특성 표현의 수렴 행동을 분석하여 소수자 클래스 방향에서의 불안정성을 드러낸다.
• 이론적 분석을 통해 소수자 붕괴의 근본 원인은 임베딩 공간에서 소수자 클래스 특성들이 원점 쪽으로 기하학적으로 붕괴되기 때문임을 규명한다.
• 분류기 또는 특성 정규화를 수정하여 소수자 클래스 표현을 안정화함으로써 소수자 붕괴를 완화할 수 있는 전략을 예측한다.

실험 결과

연구 질문

• RQ1 단순화된 모델은 균형 잡힌 데이터셋에서 잘 훈련된 깊이 신경망에서 신경망 붕괴가 어떻게 발생하는지를 어떻게 설명할 수 있는가?
• RQ2 불균형 설정에서 깊이 신경망의 일반화 성능이 떨어지는 데 배경이 되는 기하학적 및 최적화적 성질은 무엇인가?
• RQ3 Layer-Peeled Model은 소수자 클래스 표현 붕괴와 관련된 이전에 알려지지 않은 현상을 예측하는가?
• RQ4 모델은 아키텍처나 훈련 수정을 통해 소수자 클래스에서의 일반화를 향상시키기 위한 이론적 지침을 제공할 수 있는가?
• RQ5 최종 분류기 레이어는 훈련 과정에서 특성 공간 기하학을 어떻게 형성하는가?

주요 결과

• Layer-Peeled Model은 균형 잡힌 데이터셋에서의 모든 해가 단체 등각 타이트 프레임을 이룬다는 것을 증명하며, 이는 신경망 붕괴에 대한 이론적 설명을 제공한다.
• 모델는 소수자 클래스 특성이 원점 쪽으로 붕괴되어 드러나는 새로운 현상인 소수자 붕괴를 예측한다.
• 소수자 붕괴는 불균형 설정에서의 최적화 역학으로 인해 발생하는 근본적인 기하학적 제한임을 입증한다.
• 소수자 붕괴에 대한 모델의 예측은 후속 계산 실험을 통해 확인되어 이론적 통찰의 타당성을 검증한다.
• 모델는 분류기나 정규화 방식을 조정하여 소수자 클래스 표현을 안정화함으로써 소수자 붕괴를 완화하는 원칙적인 접근법을 제공한다.
• Layer-Peeled Model은 최소한의 복잡성으로도 훈련된 깊이 신경망의 핵심 행동을 포착하는 강력한 분석 도구로 기능한다.