[논문 리뷰] On the emergence of simplex symmetry in the final and penultimate layers of neural network classifiers

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|2020. 12. 10.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 매우 표현력 있는 깊은 신경망을 유계 가측 함수로 모델링하여, 훈련된 신경망 분류기의 최종 및 전처리 층에서 싱글렉스 대칭이 어떻게 나타나는지 분석적으로 설명한다. 교차 엔트로피 손실과 노름 제약 조건 하에서 최적 해는 각 클래스의 데이터를 전처리 층에서 단일 점으로 붕괴시켜 정규 싱글렉스를 형성하는 반면, 얕은 네트워크는 이러한 붕괴를 달성하지 못함을 보여주며, 깊이가 이러한 기하학적 단순화를 가능하게 한다.

ABSTRACT

A recent numerical study observed that neural network classifiers enjoy a large degree of symmetry in the penultimate layer. Namely, if $h(x) = Af(x) +b$ where $A$ is a linear map and $f$ is the output of the penultimate layer of the network (after activation), then all data points $x_{i, 1}, \dots, x_{i, N_i}$ in a class $C_i$ are mapped to a single point $y_i$ by $f$ and the points $y_i$ are located at the vertices of a regular $k-1$-dimensional standard simplex in a high-dimensional Euclidean space. We explain this observation analytically in toy models for highly expressive deep neural networks. In complementary examples, we demonstrate rigorously that even the final output of the classifier $h$ is not uniform over data samples from a class $C_i$ if $h$ is a shallow network (or if the deeper layers do not bring the data samples into a convenient geometric configuration).

연구 동기 및 목표

• 신경망 분류기의 각 클래스 데이터 포인트가 전처리 층에서 단일 점으로 붕괴하여 정규 싱글렉스를 형성하는 이유를 분석적으로 설명하는 것.
• 표현력이 높은 네트워크에서 노름 제약 조건과 교차 엔트로피 손실 하에 최적 해로 인해 싱글렉스 대칭이 나타나는 조건을 보여주는 것.
• 얕은 네트워크와의 대비를 통해 동일한 훈련 동역학 하에서 최종 층에서 클래스 붕괴가 이루어지지 않는다는 것을 보여주는 것.
• 깊이가 전처리 층에서 신경망 붕괴의 기하학적 구조가 나타나는 데 기여하는 역할을 규명하는 것.
• 최종 층 출력이 균일하게 클래스 정점에 매핑되지 않으며, 이는 이미 이전 층에서 유리한 기하학적 구성이 이루어져야 가능하다는 것을 확립하는 것.

제안 방법

• 표현력이 높은 깊은 네트워크를 $ L^∞(\mathbb{P}; \mathbb{R}^m) $ 내의 유계 가측 함수로 전처리 층 출력을 모델링한다.
• 교차 엔트로피 손실 하에서 최소화자가 존재하도록 분류기 출력에 $ \ell^p $-노름 제약 조건을 도입한다.
• 노름 한계 하에서 소프트맥스 교차 엔트로피 기능의 최소화를 분석하여 최적 해가 클래스 붕괴를 통해 싱글렉스 정점으로 이어짐을 보여준다.
• 연속 시간 경사 하강 흐름 동역학을 사용하여 수렴 행동을 연구하며, 특히 얕은 네트워크 설정에서의 행동을 분석한다.
• 비볼록 입력 클래스를 가진 명시적 반례를 구성하여, 유리한 기하학적 구성이 이미 존재하지 않는 한 얕은 네트워크에서 클래스 붕괴가 실패함을 보여준다.
• 평균장 분석을 적용하고 경사 하강 흐름 하에서의 파라미터 동역학을 고려하여 최종 층 출력의 비균일 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 왜 동일한 클래스의 데이터 포인트들이 깊은 신경망 분류기의 전처리 층에서 단일 점으로 붕괴하는가?
• RQ2 분류기의 최종 층 출력이 동일한 클래스의 데이터 포인트들 사이에서 균일해지는 조건은 무엇인가?
• RQ3 왜 교차 엔트로피 손실로 훈련된 얕은 네트워크에서는 정규 싱글렉스로의 붕괴가 발생하지 않는가?
• RQ4 전처리 층의 기하학적 구성이 깊은 네트워크에서 최종 층 출력에 어떤 영향을 미치는가?
• RQ5 노름 제약 조건과 손실 함수의 구조가 최종 및 전처리 층에서 싱글렉스 대칭을 유도하는 데 어떤 역할을 하는가?

주요 결과

• $ \ell^p $-노름 제약 조건과 교차 엔트로피 손실 하에서 최적 분류기는 클래스 $ C_i $의 모든 데이터 포인트를 전처리 층에서 단일 점 $ y_i $로 매핑하여 정규 싱글렉스를 형성한다.
• 싱글렉스의 정점 $ y_i $는 질량 중심으로부터 등거리에 있으며, 동일한 각도로 배열되어 신경망 붕괴 조건을 만족한다.
• 얕은 네트워크의 경우, 최적 파라미터 하에서도 연속 시간 경사 하강 흐름 하에서 동일한 클래스의 최종 층 출력 $ h(x) $는 단일 값으로 수렴하지 않는다.
• 최종 층 기하학은 $ \ell^p $-노름의 선택에 따라 달라지지만, 주어진 제약 조건 하에서 전처리 층 기하학은 노름 선택에 대해 강건하다.
• 세 개의 이산 데이터 포인트와 비볼록 클래스 구조를 가진 반례에서, 최종 층 출력 차이 $ h(1) - h(-1) $는 $ p_3 = 2p_1 $일 때에만 0으로 수렴하며, 이는 유리한 기하학적 구성이 없으면 클래스 붕괴가 보장되지 않음을 보여준다.
• 분석 결과, 최종 층에서의 클래스 붕괴는 손실 함수의 본질적 특성 때문이 아니라 전처리 층에서 사전 기하학적 단순화가 이루어져야 가능하며, 이는 깊이가 이러한 구조를 가능하게 한다는 것을 시사한다.