[논문 리뷰] Theory of the Frequency Principle for General Deep Neural Networks

Tao Luo, Zheng Ma외 2명|arXiv (Cornell University)|2019. 06. 21.

Neural Networks and Applications참고 문헌 25인용 수 27

한 줄 요약

이 논문은 일반적인 딥 네ural 네트워크에서 주파수 원리(F-Principle)에 대한 엄밀한 이론적 기반을 구축하며, 학습 과정에서 손실 감소와 출력 변화가 초기, 중간, 최종 단계 전반에 걸쳐 체계적으로 저주파 성분에 의해 지배됨을 보여준다. 분석은 임의의 활성화 함수, 일반적인 데이터 분포, 광범위한 손실 함수 클래스를 가진 다층 네트워크에 적용되며, 주파수 도메인에서 손실의 감쇠 속도가 네트워크의 정규성(regularity)을 반영함을 증명한다.

ABSTRACT

Along with fruitful applications of Deep Neural Networks (DNNs) to realistic problems, recently, some empirical studies of DNNs reported a universal phenomenon of Frequency Principle (F-Principle): a DNN tends to learn a target function from low to high frequencies during the training. The F-Principle has been very useful in providing both qualitative and quantitative understandings of DNNs. In this paper, we rigorously investigate the F-Principle for the training dynamics of a general DNN at three stages: initial stage, intermediate stage, and final stage. For each stage, a theorem is provided in terms of proper quantities characterizing the F-Principle. Our results are general in the sense that they work for multilayer networks with general activation functions, population densities of data, and a large class of loss functions. Our work lays a theoretical foundation of the F-Principle for a better understanding of the training process of DNNs.

연구 동기 및 목표

• 일반적인 딥 네ural 네트워크에서 F-Principle에 대한 일반적인 이론적 프레임워크를 수립함.
• DNN이 학습 과정에서 목표 함수를 저주파에서 고주파로 학습하는 방식을 엄밀히 기술함.
• 기존의 경험적 및 제한적인 이론적 결과를 일반적인 다층 네트워크, 임의의 활성화 함수 및 데이터 분포로 확장함.
• 푸리에 분석을 사용하여 초기, 중간, 최종 단계의 모든 학습 단계에서 F-Principle를 분석함.
• L^p 손실 함수($p \geq 2$)를 포함한 일반적인 손실 함수 하에서 F-Principle의 통합적 이해를 제공함.

제안 방법

• 네트워크 출력과 손실 함수를 주파수 성분으로 분해하기 위해 푸리에 분석을 사용함.
• 고주파 및 저주파 푸리에 모드의 $L^2$-노름 비율을 통해 주파수 지배성(frequency dominance)을 정의함.
• 평균장 및 PDE 기반 근사법을 사용하여 주파수 도메인에서의 경사 하강 동역학을 모델링함.
• 주파수 대역에 대한 $L^2$-노름을 사용하여 손실과 네트워크 출력의 변화율에 대한 경계를 유도함.
• 활성화 함수와 파rameter 동역학에 대한 정규성 가정을 활용하여 고주파 성분의 감쇠를 제어함.
• 최소화점에서 헤시안의 비퇴화성(non-degeneracy)을 활용하여 주파수 도메인에서 경사 대 손실 비율의 유계성(boundedness)을 보장함.

실험 결과

연구 질문

• RQ1 일반적인 딥 네ural 네트워크에서 F-Principle가 모든 학습 단계에서 일반적으로 성립하는가?
• RQ2 일반적인 활성화 함수와 데이터 분포에 대해 학습 과정에서 손실과 출력의 주파수 성분은 어떻게 변화하는가?
• RQ3 $L^p$ 손실 함수($p \geq 2$)에 대해 F-Principle가 엄밀히 증명될 수 있는가? ($L^2$ 외에도)
• RQ4 네트워크의 정규성이 손실 함수에서 고주파 성분의 감쇠 속도에 미치는 영향은 무엇인가?
• RQ5 주파수 도메인에서의 경사 하강 동역학은 손실 곡면의 구조와 어떻게 관련되는가?

주요 결과

• 학습 초기 및 최종 단계에서 평균 제곱 오차(MSE)의 변화는 모두 저주파 성분에 의해 지배됨.
• 일반적인 $L^p$ 손실 함수($p \geq 2$) 하에서, DNN 출력의 변화는 초기 및 최종 단계에서 저주파 성분에 의해 지배됨.
• 중간 단계에서는 MSE 감소의 절반에 대해 저주파 성분이 지배적이며, 이는 모든 단계에서 F-Principle가 성립함을 확인함.
• 손실의 주파수 도메인에서의 감쇠 속도는 신경망 파rameter와 활성화 함수의 정규성과 직접적으로 연결됨.
• 이론적 프레임워크는 표준 활성화 함수(ReLU, sigmoid, tanh)를 사용하는 임의의 다층 네트워크, 일반적인 데이터 밀도 분포, 광범위한 손실 함수 클래스에 대해 유효함.
• 분석을 통해 고주파 성분 대 총 경사 크기의 비율이 시간에 따라 균일하게 감소함을 증명하여, 체계적인 저주파에서 고주파로의 학습이 보장됨.