[논문 리뷰] Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study

Yongtao Wu, Zhenyu Zhu외 3명|arXiv (Cornell University)|2022. 09. 16.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 히드라드 곱을 가지는 신경망인 다항식 신경망(PNNs)에 대해 유한한 너비의 신경미분 커널(NTK)을 유도하고, 이들이 커널 회귀와 동치임을 증명한다. PNNs는 표준 네트워크보다 더 나은 외삽 능력과 느린 NTK 고유값 감쇠를 보이며, 이는 고주파 함수를 더 빠르게 학습할 수 있음을 의미한다.

ABSTRACT

Neural tangent kernel (NTK) is a powerful tool to analyze training dynamics of neural networks and their generalization bounds. The study on NTK has been devoted to typical neural network architectures, but it is incomplete for neural networks with Hadamard products (NNs-Hp), e.g., StyleGAN and polynomial neural networks (PNNs). In this work, we derive the finite-width NTK formulation for a special class of NNs-Hp, i.e., polynomial neural networks. We prove their equivalence to the kernel regression predictor with the associated NTK, which expands the application scope of NTK. Based on our results, we elucidate the separation of PNNs over standard neural networks with respect to extrapolation and spectral bias. Our two key insights are that when compared to standard neural networks, PNNs can fit more complicated functions in the extrapolation regime and admit a slower eigenvalue decay of the respective NTK, leading to a faster learning towards high-frequency functions. Besides, our theoretical results can be extended to other types of NNs-Hp, which expand the scope of our work. Our empirical results validate the separations in broader classes of NNs-Hp, which provide a good justification for a deeper understanding of neural architectures.

연구 동기 및 목표

• 히드라드 곱을 가진 신경망(NNs-Hp), 특히 다항식 신경망(PNNs)을 분석하는 데 있어 이론적 격차를 메우기 위해 신경미분 커널(NTK)을 사용한다.
• 초기화 시 수렴성과 훈련 중 안정성까지 포함된 완전한 NTK 프레임워크를 통해 PNNs의 경사하강법 훈련과 커널 회귀 간의 엄밀한 동치성을 확립한다.
• PNNs와 표준 신경망 간의 외삽 행동과 스펙트럼 편향을 조사하고 비교한다.
• 다중 곱셈 필터 네트워크와 비국소 다중 곱셈 네트워크와 같은 더 넓은 NNs-Hp 클래스로 이론적 통찰을 확장한다.
• 복잡한 함수 학습, 산술 외삽, 시각적 유사성 작업에서 NNs-Hp의 이론적 이점들을 실증적으로 검증한다.

제안 방법

• 높은 차수의 곱셈 상호작용을 가진 PNNs에 대해, 가중치와 활성화 기울기의 해석적 계산을 통해 유한 너비 NTK 수식을 유도한다.
• 초기화 시 수렴성과 훈련 중 경험적 NTK의 안정성에 대한 경계를 설정함으로써, PNNs 훈련과 커널 회귀 간의 엄밀한 동치성을 증명한다.
• 유도된 NTK의 스펙트럼 성질, 특히 고유값 감쇠 비율을 분석하여 인도적 편향을 특성화한다.
• PNNs와 표준 완전 연결 ReLU 네트워크 간의 외삽 및 주파수 학습 능력 측면에서 비교 분석을 적용한다.
• 합성 및 실제 데이터셋을 대상으로 실증 평가를 수행하여 산술 문제와 시각적 유사성 작업에서의 외삽 성능을 테스트한다.
• 분석을 다른 NNs-Hp 아키텍처로 확장하여 유도된 NTK 프레임워크의 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 다항식 신경망(PNNs)의 NTK는 표준 완전 연결 네트워크와 어떻게 다를까?
• RQ2 PNNs는 얼마나 깊이 학습 분포를 초월해 일반화하는가, 특히 비선형 함수를 외삽할 수 있는가?
• RQ3 PNNs의 NTK 고유값 감쇠는 표준 네트워크와 비교해 어떻게 다른가, 그리고 이는 고주파 함수 학습에 어떤 함의를 갖는가?
• RQ4 PNNs의 이론적 NTK 프레임워크는 비국소 다중 곱셈 네트워크와 같은 히드라드 곱을 가진 다른 아키텍처로 확장될 수 있는가?
• RQ5 산술 또는 시각적 유사성 외삽과 같은 분포 외 일반화가 요구되는 과제에서 NNs-Hp는 어떤 실증적 이점을 보이는가?

주요 결과

• PNNs는 유한 너비 NTK 프레임워크를 통해 커널 회귀와 동치임을 증명하였으며, 초기화 시 수렴성과 훈련 중 안정성에 대한 엄밀한 경계가 존재한다.
• PNNs는 표준 ReLU 네트워크가 선형 외삽에 국한되는 것과 달리, 학습 분포를 초월해 비선형 함수를 학습할 수 있는 뛰어난 외삽 능력을 보인다.
• PNNs의 NTK는 표준 네트워크보다 느린 고유값 감쇠를 보이며, 이는 고주파 성분을 더 빠르게 학습할 수 있음을 의미한다.
• 실증 결과는 PNNs를 포함한 NNs-Hp가 복잡한 함수 학습, 산술 외삽, 시각적 유사성 과제에서 표준 네트워크를 능가함을 확인한다.
• PNNs의 NTK 이론적 프레임워크는 다중 곱셈 필터 네트워크와 비국소 다중 곱셈 네트워크와 같은 다른 NNs-Hp 아키텍처로도 확장 가능하며, 이는 적용 범위를 넓힌다.
• 본 연구는 분포 외 및 주파수 기반 학습 시나리오에서 NNs-Hp의 인도적 편향과 일반화 행동을 이해하기 위한 이론적 기반을 제공한다.