[논문 리뷰] On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels

Amnon Geifman, Meirav Galun외 2명|arXiv (Cornell University)|2022. 03. 17.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 가우시안 프로세스와 신경 회귀 커널(GPK 및 NTK)를 사용하여 과도하게 파rameter화된 컨volution 신경망의 엄밀한 스펙트럼 분석을 수행한다. 고유함수는 픽셀 채널에 대해 정의된 구면 조화함수의 곱이며, 고유값은 주파수에 따라 다항식적으로 감쇠하고 계층적 특징 구조에 의해 조절된다. 이는 CNN이 완전 연결 네트워크보다 국소적이고 고주파 함수를 더 빠르게 학습함을 드러낸다.

ABSTRACT

We study the properties of various over-parametrized convolutional neural architectures through their respective Gaussian process and neural tangent kernels. We prove that, with normalized multi-channel input and ReLU activation, the eigenfunctions of these kernels with the uniform measure are formed by products of spherical harmonics, defined over the channels of the different pixels. We next use hierarchical factorizable kernels to bound their respective eigenvalues. We show that the eigenvalues decay polynomially, quantify the rate of decay, and derive measures that reflect the composition of hierarchical features in these networks. Our results provide concrete quantitative characterization of over-parameterized convolutional network architectures.

연구 동기 및 목표

• 과도하게 파rameter화된 컨volution 신경망의 스펙트럼 편향을 그들의 가우시안 프로세스 및 신경 회귀 커널을 통해 특성화하기 위해.
• ReLU 활성화 함수와 정규화된 다중 채널 입력 하에서 CGPK 및 CNTK의 고유함수와 고유값 감쇠율을 규명하기 위해.
• 고유값 내의 곱셈 인자에 의해 특징의 계층적 조합이 학습 속도에 미치는 영향을 정량화하기 위해.
• 이동 불변성, 완전 연결, 전역 평균 풀링 아키텍처 간의 스펙트럼 인덕티브 편향을 비교하기 위해.

제안 방법

• 세 가지 아키텍처: 이동 불변성, 완전 연결 최종 레이어, 전역 평균 풀링(GAP) 레이어의 커널 구조를 유도한다.
• 다중구면 입력 공간(각 픽셀에 대한 단위 구면의 곱)에서 고유함수로 구면 조화함수(SHs)를 사용한다.
• 순환 이동 불변성과 평균화를 적용하여 추적 및 GAP 커널을 유도하며, 고유함수 구조를 유지한다.
• 머서의 분해를 활용하여 커널을 정규직교 고유함수의 합으로 표현하고, 관련된 고유값을 포함한다.
• 주파수 기반 고유값 감쇠 분석을 도입하여, 입력 채널 수에 따라 의존하는 다항식 감쇠율을 보여준다.
• 고유값 내 곱셈 인자로 공간적 국소성의 영향을 유도한다: 이동 불변성의 경우 중심/수용체 영역 픽셀에서 가장 크며, 완전 연결/GAP의 경우 근접한 픽셀에서 크며 먼 픽셀에서는 급격히 감쇠한다.

실험 결과

연구 질문

• RQ1 과도하게 파rameter화된 컨볼루션 네트워크의 가우시안 프로세스 및 신경 회귀 커널의 고유함수는 무엇인가?
• RQ2 이러한 커널의 고유값은 고유함수의 주파수에 따라 어떻게 감쇠하는가?
• RQ3 네트워크 내 특징의 계층적 구조는 고유값과 학습 편향에 어떻게 영향을 미치는가?
• RQ4 이동 불변성, 완전 연결, 전역 평균 풀링 아키텍처 간의 스펙트럼 편향은 어떻게 다를까?
• RQ5 CNN이 완전 연결 네트워크보다 고주파 함수를 얼마나 더 빠르게 학습하는가, 그리고 어떤 조건에서 그러한 성능 향상이 발생하는가?

주요 결과

• CGPK 및 CNTK 커널의 고유함수는 각 픽셀의 채널에 대해 정의된 구면 조화함수의 곱이며, 다중구면 입력 공간에서 정규직교 기저를 이룬다.
• 고유값은 고유함수의 주파수에 대해 다항식적으로 감쇠하며, 감쇠율은 입력 채널 수에 따라 달라진다.
• 이동 불변 네트워크의 경우, 고유값 곱셈 인자는 수용체 영역의 중심 픽셀에서 가장 크며, 외곽으로 갈수록 감소한다.
• 완전 연결 및 GAP 아키텍처의 경우, 픽셀 간 거리가 가까울수록 곱셈 인자가 크며, 먼 거리에서는 급격히 감쇠한다.
• CNN은 고유값 조절의 공간적 구조 덕분에 완전 연결 네트워크보다 공간적으로 국소적이고 고주파 함수를 더 강하게 편향하여 학습한다.
• 고유값 감쇠율은 이미지 크기나 필터 크기에 영향을 받지 않으며, 오직 입력 채널 수와 고유함수의 주파수에만 의존한다.