[논문 리뷰] On the Spectral Bias of Neural Networks

Nasim Rahaman, Aristide Baratin외 6명|arXiv (Cornell University)|2018. 06. 22.

Neural Networks and Applications인용 수 164

한 줄 요약

이 논문은 심층 ReLU 네트워크가 스펙트럴 바이어스를 보이고, 낮은 주파수(매끄러운) 성분을 먼저 학습하며, 데이터 매니폴드의 기하가 고주파 성분의 학습에 어떻게 영향을 미치는지 분석한다.

ABSTRACT

Neural networks are known to be a class of highly expressive functions able to fit even random input-output mappings with $100\%$ accuracy. In this work, we present properties of neural networks that complement this aspect of expressivity. By using tools from Fourier analysis, we show that deep ReLU networks are biased towards low frequency functions, meaning that they cannot have local fluctuations without affecting their global behavior. Intuitively, this property is in line with the observation that over-parameterized networks find simple patterns that generalize across data samples. We also investigate how the shape of the data manifold affects expressivity by showing evidence that learning high frequencies gets \emph{easier} with increasing manifold complexity, and present a theoretical understanding of this behavior. Finally, we study the robustness of the frequency components with respect to parameter perturbation, to develop the intuition that the parameters must be finely tuned to express high frequency functions.

연구 동기 및 목표

• 푸리에 분석을 사용하여 신경망의 스펙트럴 바이어스를 동기 부여하고 형식화한다.
• ReLU 네트워크의 푸리에 스펙트럼과 그 감소 특성을 특징지운다.
• 낮은 주파수가 더 빨리 학습되고 파라미터 섭동에 더 강인하다는 것을 시연한다.
• 데이터 매니폴드 기하가 고주파 학습 가능성에 어떤 영향을 미치는지 조사한다.
• 훈련 역학 및 매니폴드 효과에 대한 실증적 및 이론적 통찰을 제공한다.

제안 방법

• ReLU 네트워크를 연속적인 조각선형(CPWL) 함수로 표현하고 f(x)를 선형 영역의 합으로 표현한다(식 2).
• ReLU 네트워크의 푸리에 변환을 계산하고 유리 함수 형태로 도출한다(식 6).
• 대부분의 방향에서 스펙트럼이 k^{-(d+1)}로 감소하는 반면 특정 방향은 k^{-2}까지 느리게 감소함을 보인다.
• 스펙트럼 경계를 리프시츠 상수와 네트워크 매개변수(Eq. 7)와 연결한다.
• 스펙트럴 바이어스와 파라미터 섭동에 대한 강건성을 관찰하기 위한 합성 실험(E experiments 1 및 2)을 수행한다.
• 주파수-잡음 실험(Experiment 3) 및 일반화된 주파수 프로젝션(Experiment 4)을 통해 MNIST의 실제 데이터 동작을 연구한다.
• 데이터 매니폴드 기하가 고주파 학습 가능성에 미치는 영향을 살펴본다(섹션 4 및 실험 5-6).

실험 결과

연구 질문

• RQ1 심층 ReLU 네트워크가 저주파 성분 학습에 체계적인 편향을 보이는가?
• RQ2 훈련된 네트워크의 푸리에 스펙트럼이 아키텍처와 매개변수와 어떻게 관련되는가?
• RQ3 데이터 매니폴드의 형태가 고주파 성분의 학습 용이성에 영향을 주는가?
• RQ4 저주파와 고주파 성분의 네트워크 매개변수 섭동에 대한 강건성은 어느 정도인가?
• RQ5 복잡한 매니폴드에 데이터를 임베딩하는 것이 실무에서 주파수 기반 학습 가능성에 어떤 영향을 미치는가?

주요 결과

• 네트워크는 학습 중 낮은 주파수를 먼저 학습하는 것을 우선시한다.
• 낮은 주파수 성분은 네트워크 매개변수의 무작위 섭동에 대해 고주파 성분보다 더 강건하다.
• ReLU 네트워크의 푸리에 스펙트럼은 비등방적으로 감소하며 대부분의 방향에서 k^{-(d+1)}로 감소하고 영역 면에 직교하는 방향은 k^{-2}까지 느리게 감소한다.
• 데이터가 더 복잡하고 낮은 차원의 매니폴드에 있을 때 고주파를 학습하기가 더 쉬워질 수 있다.
• 매니폴드 임베딩은 매니폴드 기하에 따라 입력 공간의 큰 주파수를 더 작은 네트워크 주파수로 표현하게 할 수 있다.
• MNIST에 대한 실험적 결과는 합성 실험과 일치하는 주파수 의존 효과를 보여준다.