[논문 리뷰] On the emergence of tetrahedral symmetry in the final and penultimate layers of neural network classifiers.

E Weinan, Stephan Wojtowytsch|arXiv (Cornell University)|2020. 12. 10.

Neural Networks and Applications참고 문헌 11인용 수 9

한 줄 요약

이 논문은 심층 신경망 분류기의 최전단층에서 관측된 정사면체 대칭성을 분석적으로 설명하며, 네트워크의 표현 능력 덕분에 클래스별 데이터 포인트가 고차원 공간에서 정규 심플렉스의 꼭짓점으로 수렴함을 보여준다. 또한 얕은 네트워크에서는 이러한 대칭성이 최종층에서 나타나지 않음을 입증하여, 더 깊은 아키텍처가 기하학적 데이터 구성에 핵심적인 역할을 한다는 것을 강조한다.

ABSTRACT

A recent numerical study observed that neural network classifiers enjoy a large degree of symmetry in the penultimate layer. Namely, if $h(x) = Af(x) +b$ where $A$ is a linear map and $f$ is the output of the penultimate layer of the network (after activation), then all data points $x_{i, 1}, \dots, x_{i, N_i}$ in a class $C_i$ are mapped to a single point $y_i$ by $f$ and the points $y_i$ are located at the vertices of a regular $k-1$-dimensional standard simplex in a high-dimensional Euclidean space. We explain this observation analytically in toy models for highly expressive deep neural networks. In complementary examples, we demonstrate rigorously that even the final output of the classifier $h$ is not uniform over data samples from a class $C_i$ if $h$ is a shallow network (or if the deeper layers do not bring the data samples into a convenient geometric configuration).

연구 동기 및 목표

• 심층 신경망 분류기의 최전단층에서 관찰된 대칭적 데이터 클러스터링 현상을 설명하기 위해.
• 왜 이러한 대칭성이 깊은 네트워크에서는 나타나지만 얕은 네트워크에서는 나타나지 않는지 조사하기 위해.
• 신경망의 최전단층과 최종층에서의 클래스 표현의 기하학적 구성 분석하기 위해.
• 동일한 클래스의 데이터 포인트가 고차원 공간에서 대칭적인 위치로 매핑되는 조건을 설정하기 위해.

제안 방법

• 선형 변환과 비선형 활성화를 사용한 고표현력 심층 신경망의 분석적 모델링.
• 최종 분류기 레이어 이전의 활성화 출력 $ f $ 를 기반으로 최전단층 출력을 $ h(x) = Af(x) + b $ 로 정의하기.
• 기하학적 추론을 통해 동일한 클래스 $ C_i $ 의 데이터 포인트가 단일 점 $ y_i $ 로 매핑되며, 이는 $ k-1 $ 차원 정규 심플렉스를 형성함을 보여주기.
• 얕은 네트워크를 활용한 보완적 예시를 제시하여 최종 출력층에서 대칭성이 나타나지 않음을 입증하기.
• 대칭성과 불변성 원리를 적용하여 고차원 공간에서 심플렉스 구성의 발생을 특성화하기.

실험 결과

연구 질문

• RQ1 왜 심층 신경망의 최전단층에서 동일한 클래스의 데이터 포인트가 정규 심플렉스의 꼭짓점으로 클러스터링되는가?
• RQ2 신경망 분류기의 표현 공간에서 정사면체 대칭성이 어떤 아키텍처 조건에서 나타나는가?
• RQ3 왜 얕은 네트워크에서는 최종 출력층에서 이러한 대칭성이 나타나지 않는가?
• RQ4 더 깊은 레이어는 네트워크 내 클래스 표현의 기하학적 조직에 어떻게 기여하는가?

주요 결과

• 고표현력 심층 네트워크에서는 동일한 클래스의 데이터 포인트가 최전단층에서 단일 점으로 매핑되어 고차원 공간에서 정규 심플렉스 구성이 형성된다.
• 이 대칭성은 네트워크의 깊이, 표현력, 그리고 최종 분류기 레이어 이전에 적용되는 선형 변환 간의 상호작용으로 인해 발생한다.
• 얕은 네트워크에서는 최종 분류기 출력 $ h $ 가 동일한 클래스의 샘플들 사이에 균일성을 보이지 않아 대칭 클러스터링의 부재를 나타낸다.
• 클래스 표현의 기하학적 구성은 데이터를 유리한 다양체로 재조직하는 더 깊은 레이어의 존재에 의존한다.