[논문 리뷰] Deep frequency principle towards understanding why deeper learning is faster

Zhi‐Qin John Xu, Hanxu Zhou|arXiv (Cornell University)|2020. 07. 28.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 5

한 줄 요약

이 논문은 깊이 있는 순전파 신경망이 더 빨리 학습되는 이유를 설명하는 '딥 주파수 원리'를 제안한다: 더 깊은 네트워크는 학습 중에 효과적인 목표 함수를 낮은 주파수 쪽으로 편향시키며, 깊은 네트워크가 낮은 주파수 성분을 더 빨리 학습하기 때문에(주파수 원리에 따라), 깊이가 증가할수록 학습 속도가 빨라진다. CIFAR-10과 MNIST에서의 실험 결과는 더 깊은 은닉층을 통한 전처리가 학습 데이터의 주파수 분포를 낮은 주파수 쪽으로 옮겨 최적화 속도를 높임을 입증한다.

ABSTRACT

Understanding the effect of depth in deep learning is a critical problem. In this work, we utilize the Fourier analysis to empirically provide a promising mechanism to understand why feedforward deeper learning is faster. To this end, we separate a deep neural network, trained by normal stochastic gradient descent, into two parts during analysis, i.e., a pre-condition component and a learning component, in which the output of the pre-condition one is the input of the learning one. We use a filtering method to characterize the frequency distribution of a high-dimensional function. Based on experiments of deep networks and real dataset, we propose a deep frequency principle, that is, the effective target function for a deeper hidden layer biases towards lower frequency during the training. Therefore, the learning component effectively learns a lower frequency function if the pre-condition component has more layers. Due to the well-studied frequency principle, i.e., deep neural networks learn lower frequency functions faster, the deep frequency principle provides a reasonable explanation to why deeper learning is faster. We believe these empirical studies would be valuable for future theoretical studies of the effect of depth in deep learning.

연구 동기 및 목표

• 더 깊은 신경망이 에포크당 더 높은 계산 비용을 지닌에도 불구하고 더 빨리 학습되는 이유를 이해하기 위해.
• 깊이가 학습 중 효과적인 목표 함수의 주파수 조합에 영향을 미치는지 조사하기 위해.
• 푸리에 분석을 통해 깊이, 주파수 편향, 학습 속도 간의 경험적 증거를 제공하기 위해.
• 더 깊은 층에 의한 전처리가 깊은 네트워크에서 후속 성분의 학습 가능성에 어떻게 영향을 미치는지 탐색하기 위해.
• 주파수 도메인 시각을 통해 향후 깊이 효과에 대한 이론적 연구를 이끌기 위해.

제안 방법

• 네트워크가 전처리 구성요소(첫 l−1개 층)와 학습 구성요소(남은 층들)로 분해되며, 전처리의 출력이 학습 구성요소의 입력으로 사용된다.
• 고차원 함수의 주파수 분포를 특성화하기 위해 필터링 방법을 사용하며, 특히 변환된 학습 데이터 S^{[l−1]}에 초점을 맞춘다.
• CIFAR-10과 MNIST 데이터셋을 사용하여 깊이가 다른 ResNet18 변종과 완전 연결 네트워크에서 실험을 수행한다.
• 다양한 학습 에포크 동안 효과적인 목표 함수 S^{[l−1]}의 주파수 성분을 반경 분포 함수(RDFs)를 통해 분석한다.
• 다른 수준의 전처리 층 수를 가진 네트워크 간의 학습 속도와 주파수 편향을 비교 분석한다.
• 매우 깊은 네트워크에서 기울기 소실 문제를 완화하기 위해 잔차 연결을 사용하여 깊은 영역에서 원리의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 깊은 신경망에서 깊이를 증가시키면 학습 구성요소가 보는 효과적인 목표 함수의 주파수 분포가 낮은 주파수 쪽으로 편향되는가?
• RQ2 변환된 입력 S^{[l−1]}의 주파수 구성이 학습 구성요소의 학습 속도에 어느 정도 영향을 미치는가?
• RQ3 주어진 네트워크 아키텍처와 데이터셋(예: 파리티 함수와 같은 고주파수 작업 포함)에서 딥 주파수 원리는 어떻게 유지되는가?
• RQ4 매우 깊은 네트워크에서 깊이, 주파수 편향, 기울기 소실 문제 간의 관계는 어떠한가?
• RQ5 잔차 연결은 극도로 깊은 네트워크에서 딥 주파수 원리를 유지할 수 있는가? 만약 그렇다면 어떤 조건에서 가능한가?

주요 결과

• 더 깊은 전처리 구성요소는 반경 분포 함수(RDFs)를 통해 확인된 lin{S^{[l−1]}}의 주파수 분포를 낮은 주파수 쪽으로 이동시킨다.
• 효과적인 목표 함수가 낮은 주파수로 지배될 경우 학습 구성요소가 더 빨리 학습되며, 이는 낮은 주파수 함수가 더 빨리 학습된다는 잘 알려진 주파수 원리와 일치한다.
• 파리티 함수와 같은 고주파수 목표 함수를 학습하는 데서도 딥 주파수 원리는 유지되며, 더 깊은 층에서 낮은 주파수 표현으로의 일반적인 편향이 있음을 시사한다.
• 잔차 연결이 없는 매우 깊은 완전 연결 네트워크(예: 80층)에서는 주파수 편향이 붕괴되고 기울기 소실로 인해 학습 속도가 떨어지며, 이는 딥 주파수 원리를 위반한다.
• 잔차 연결이 있으면 매우 깊은 네트워크에서도 딥 주파수 원리가 유지되며, 깊이에 관계없이 학습 속도가 유사하게 유지되어 깊이가 더 이상 학습을 가속화하지 않는 포화 효과를 보인다.
• 깊이가 증가할수록 S^{[l−1]}의 주파수 분포가 점점 더 낮은 주파수로 지배되며, 더 깊은 은닉 층에서 낮은 주파수 표현으로 수렴하는 경향을 보인다.