[논문 리뷰] Eigenspace Restructuring: a Principle of Space and Frequency in Neural Networks

Lechao Xiao|arXiv (Cornell University)|2021. 12. 10.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 레지온드 다항식과 구면 조화 함수를 통해 깊이 신경망의 공간적 구조와 주파수적 구조를 연결하는 원리인 고유공간 재구성(Eigenspace Restructuring)을 제안한다. 이 원리에 따르면 신경미분커널(NTK)과 NNGP는 깊이에 따라 변하는 지수 S(r)에 의해 결정되는 고유값 감쇠를 보이며, 이는 초과매개변수화된 네트워크에서 하이퍼컨트랙티비티와 고유공간 차원 수세기 분석을 통해 정밀한 일반화 경계를 가능하게 한다.

ABSTRACT

Understanding the fundamental principles behind the massive success of neural networks is one of the most important open questions in deep learning. However, due to the highly complex nature of the problem, progress has been relatively slow. In this note, through the lens of infinite-width networks, a.k.a. neural kernels, we present one such principle resulting from hierarchical localities. It is well-known that the eigenstructure of infinite-width multilayer perceptrons (MLPs) depends solely on the concept frequency, which measures the order of interactions. We show that the topologies from deep convolutional networks (CNNs) restructure the associated eigenspaces into finer subspaces. In addition to frequency, the new structure also depends on the concept space, which measures the spatial distance among nonlinear interaction terms. The resulting fine-grained eigenstructure dramatically improves the network's learnability, empowering them to simultaneously model a much richer class of interactions, including Long-Range-Low-Frequency interactions, Short-Range-High-Frequency interactions, and various interpolations and extrapolations in-between. Additionally, model scaling can improve the resolutions of interpolations and extrapolations and, therefore, the network's learnability. Finally, we prove a sharp characterization of the generalization error for infinite-width CNNs of any depth in the high-dimensional setting. Two corollaries follow: (1) infinite-width deep CNNs can break the curse of dimensionality without losing their expressivity, and (2) scaling improves performance in both the finite and infinite data regimes.

연구 동기 및 목표

• 조화 분석을 통해 깊이 신경망의 공간적 및 주파수적 구조를 연결하는 원리를 체계화하기.
• 고유값 분석을 통해 초과매개변수화된 네트워크에서 신경미분커널(NTK)과 NNGP의 정밀한 감쇠율을 도출하기.
• 고유공간 차원과 고유값 분포 분석을 통해 넓고 깊은 합성곱 네트워크의 일반화 경계를 설정하기.
• 깊이에 따라 변하는 지수 S(r)를 통해 다양한 네트워크 아키텍처에서 NTK와 NNGP의 행동을 통합하기.

제안 방법

• 고차원 입력 공간에서 활성화 및 커널 함수를 분석하기 위해 레지온드 다항식과 구면 조화 함수를 정규직교 기저로 사용한다.
• 덧셈 정리를 적용하여 커널 함수를 구면 조화 함수 전개로 표현함으로써 입력 기하학과 스펙트럼 성질 간의 연결을 수립한다.
• 깊이에 따라 변하는 지수 S(r)를 도입하여, 구면 조화 함수 기저에서 커널 및 NTK 계수의 감쇠율을 특성화한다.
• 네트워크 깊이에 대한 귀납법을 적용하여, 커널의 r차 미분이 d^(-S(r)) 비례함을 증명한다. 여기서 d는 넓이이다.
• 구면 조화 함수의 하이퍼컨트랙티비티를 활용하여 고유공간 내 함수의 노름을 제어함으로써 일반화 분석을 가능하게 한다.
• 구면 조화 함수의 텐서 곱 구조를 활용하여 다중입력 및 다중층 네트워크 행동을 모델링하며, 특히 합성곱 아키텍처에서 유의미하다.

실험 결과

연구 질문

• RQ1 깊이 신경망에서 NTK와 NNGP의 스펙트럼 성질은 네트워크의 깊이와 넓이에 어떻게 의존하는가?
• RQ2 구면 조화 함수 기저에서 커널 계수의 정밀한 감쇠율은 무엇이며, 네트워크 구조에 의해 어떻게 결정되는가?
• RQ3 고유공간 차원과 고유값 분포를 어떻게 제어하여 초과매개변수화된 네트워크에서 일반화 경계를 도출할 수 있는가?
• RQ4 신경망의 깊이와 구조가 NTK와 NNGP의 고유값 감쇠에 어떤 영향을 미치는가?
• RQ5 넓고 깊은 네트워크의 스펙트럼 행동은 공간 영역과 주파수 영역을 연결하는 단일 원리로 통합될 수 있는가?

주요 결과

• NTK와 NNGP 커널은 구면 조화 함수 전개를 가지며, 계수는 d^(-S(r)) 비례로 감쇠한다. 여기서 S(r)는 네트워크의 깊이와 구조에 따라 결정된다.
• 모든 다층 네트워크에서 커널의 r차 미분은 ∥∂_t^r K_G∥_∞ ≲ d^(-S(r)) 비례하며, S(r)는 네트워크의 계산 그래프의 최소 스패닝 트리에 의해 결정된다.
• NTK와 NNGP의 고유값은 차수 r에 대해 d^(-r) 비례로 감쇠하며, 고유공간 차원은 d^r 비례로 증가하여 일반화 오차를 정밀하게 제어할 수 있다.
• Mei 등(2021)의 가정을 검증함으로써 일반화 경계를 유도하였으며, 하이퍼컨트랙티비티와 차원 수세기 분석을 통해 커널의 유효 랭크가 넓이에 대해 다항식임을 보였다.
• 이 방법은 NTK와 NNGP의 고유값이 같은 차수의 고유공간에서 균일하게 감쇠함을 증명하였으며, 감쇠 지수 S(r)는 관련 노드를 포함하는 최소 부분수형의 깊이와 일치한다.
• 분석 결과, 넓고 깊은 네트워크의 일반화 오차는 고유공간 차원과 고유값 감쇠 간의 상호작용에 의해 결정되며, 후자는 네트워크의 깊이와 구조에 의해 제어됨을 확인하였다.