[논문 리뷰] Symmetry-via-Duality: Invariant Neural Network Densities from Parameter-Space Correlators

Anindita Maiti, Keegan Stoner외 1명|arXiv (Cornell University)|2021. 06. 01.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 밀도가 알려져 있지 않거나 네트워크가 동치가 아니어도, 매개변수 공간에서 계산된 상관 함수를 통해 신경망 밀도의 대칭성을 결정하는 '이중성을 통한 대칭성' 방법을 제안한다. 주요 기여는 이러한 상관 함수의 변환에 대한 불변성이 입력 및 출력 대칭성을 드러내며, 이는 무한한 넓이 근사에서 (가우시안 프로세스 결과를 복원함) 및 유한한 넓이 학습에서 검증되며, 대칭성의 붕괴가 진정한 구조와 일치할 때에만 성능 향상에 기여한다는 점을 보여준다.

ABSTRACT

Parameter-space and function-space provide two different duality frames in which to study neural networks. We demonstrate that symmetries of network densities may be determined via dual computations of network correlation functions, even when the density is unknown and the network is not equivariant. Symmetry-via-duality relies on invariance properties of the correlation functions, which stem from the choice of network parameter distributions. Input and output symmetries of neural network densities are determined, which recover known Gaussian process results in the infinite width limit. The mechanism may also be utilized to determine symmetries during training, when parameters are correlated, as well as symmetries of the Neural Tangent Kernel. We demonstrate that the amount of symmetry in the initialization density affects the accuracy of networks trained on Fashion-MNIST, and that symmetry breaking helps only when it is in the direction of ground truth.

연구 동기 및 목표

• 밀도가 알려져 있지 않거나 비동치일 때도 신경망 밀도의 대칭성을 식별하는 방법을 개발하는 것.
• 신경망의 매개변수 공간 및 기능 공간 기술 간의 이중성 프레임워크를 수립하여 대칭성 분석에 활용하는 것.
• 매개변수 공간에서의 상관 함수의 불변성으로부터 신경망 밀도의 대칭성을 추출할 수 있음을 보여주는 것.
• 초기화 시 대칭성이 유한한 넓이 네트워크에서 일반화에 미치는 영향을 테스트하는 것, 특히 Fashion-MNIST에서의 성능을 중심으로 한다.
• 학습 중 및 신경 탄성 커널(NTK)에서 대칭성을 분석할 수 있도록 프레임워크를 확장하는 것.

제안 방법

• 매개변수 공간과 기능 공간 간의 이중성을 활용하여 신경망 밀도의 대칭성을 분석하는 것.
• 매개변수 공간에서의 네트워크 출력 상관 함수를 대칭성 탐지 도구로 사용하며, 이들의 변환에 대한 불변성을 기반으로 하는 것.
• 무한한 넓이 근사(가우시안 프로세스 결과 복원)와 유한한 넓이 네트워크에서 모두 입력 및 출력 대칭성을 탐지하기 위해 이 방법을 적용하는 것.
• 격자 양자장 이론의 유사성을 활용하여 이산 입력 집합에 대한 기능적 밀도를 정의함으로써 비가우시안 과정의 엄밀한 해석을 가능하게 하는 것.
• Fashion-MNIST에서의 실험적 학습을 통해 초기화 시 대칭성이 테스트 정확도에 미치는 영향을 검증하는 것.
• 학습 중 신경 탄성 커널(NTK)과 매개변수 상관 관계를 분석하여 대칭성의 진화를 평가하는 것.

Figure 1: Test accuracy %age on Fashion-MNIST. (Left): Dependence on symmetry breaking parameters $\mu_{W}$ and $k$ for one-hot encoded labels. The error is presented in Appendix ( D ). (Right): Dependence on $\mu_{W}$ for one-cold encoded labels, showing the $95\%$ confidence interval.

실험 결과

연구 질문

• RQ1 밀도가 알려져 있지 않고 네트워크가 비동치일 경우에도 신경망 밀도의 대칭성을 결정할 수 있는가?
• RQ2 매개변수 공간 상관 함수의 불변성 특성은 기능 밀도의 입력 및 출력 대칭성을 어떻게 드러내는가?
• RQ3 유한한 넓이 신경망에서 초기화 밀도의 대칭성은 일반화에 어떤 역할을 하는가?
• RQ4 학습 중 대칭성 붕괴가 성능에 미치는 영향은 무엇이며, 어떤 조건에서 유익한가?
• RQ5 이중성 프레임워크는 학습 중 신경 탄성 커널 및 매개변수 상관 관계의 대칭성을 분석하는 데 적용 가능한가?

주요 결과

• 밀도나 네트워크의 동치성에 대한 사전 지식 없이도 매개변수 공간 상관 함수의 불변성에 기반해 신경망 밀도의 대칭성을 성공적으로 추론할 수 있었다.
• 무한한 넓이 근사에서 기존의 가우시안 프로세스 결과를 복원하여 기존 이론과의 일관성을 입증하였다.
• 유한한 넓이 네트워크에서는 초기화 밀도의 대칭성 정도가 Fashion-MNIST에서의 테스트 정확도에 직접적인 영향을 미치며, 대칭성이 높을수록 성능이 향상되었다.
• 학습 중 대칭성 붕괴가 일반화를 향상시키는 것은 데이터의 진정한 대칭성과 일치할 때에만 가능하며, 이는 인도적 편향이 물리적으로 의미 있어야 한다는 것을 시사한다.
• 이 프레임워크는 신경 탄성 커널과 학습 중 매개변수 상관 관계에 적용 가능하며, 대칭성 특성이 동적으로 진화하며 이중성에 의해 분석 가능하다는 점을 보여주었다.
• 수치 실험 결과, 낮은 넓이에서 예상되는 대칭성의 이탈은 기본적인 대칭성 붕괴가 아니라 유한 표본 변동성 때문임을 확인하였다.

Figure 2: Variation measures of $2$ -pt and $4$ -pt functions and their predicted error bounds, for $SO(3)$ and $SO(5)$ transformations of $D=3$ and $D=5$ networks, respectively.