[논문 리뷰] Understanding training and generalization in deep learning by Fourier analysis

Zhi‐Qin John Xu|arXiv (Cornell University)|2018. 08. 13.

Stochastic Gradient Optimization Techniques참고 문헌 17인용 수 42

한 줄 요약

논문은 DNN 학습을 위한 푸리에 분석 프레임워크를 개발하고, 기울기 기반 방법이 저주파 구성요소를 우선시하며, 작은 초기화가 일반화에 도움이 되면서 임의의 함수도 맞출 수 있는 능력을 보존한다는 것을 보인다.

ABSTRACT

Background: It is still an open research area to theoretically understand why Deep Neural Networks (DNNs)---equipped with many more parameters than training data and trained by (stochastic) gradient-based methods---often achieve remarkably low generalization error. Contribution: We study DNN training by Fourier analysis. Our theoretical framework explains: i) DNN with (stochastic) gradient-based methods often endows low-frequency components of the target function with a higher priority during the training; ii) Small initialization leads to good generalization ability of DNN while preserving the DNN's ability to fit any function. These results are further confirmed by experiments of DNNs fitting the following datasets, that is, natural images, one-dimensional functions and MNIST dataset.

연구 동기 및 목표

• 대수의 매개변수 수에도 불구하고 기울기 기반 방법으로 학습된 DNN이 왜 일반화가 잘되는지 설명한다.
• 그레디언트 동역학이 타깃 함수의 저주파 성분을 어떻게 선호하는지 보여준다.
• 초기화 스케일이 고주파 성분 적합과 일반화 간의 균형에 어떻게 영향을 미치는지 보여준다.
• 일반 DNN에 대해 프레임워크를 질적으로 확장하고 자연 이미지, 1-D 함수 및 MNIST 실험으로 검증한다.

제안 방법

• 예시로 하나의 은닉층과 tanh 활성화를 가진 DNN에 대해 푸리에 도메인에서 이론 프레임워크를 개발한다.
• DNN 출력과 손실의 주파수 도메인 형태를 도출하고 매개변수에 대한 기울기를 얻는다.
• 각 주파수 성분에 대한 그래디언트 크기가 주파수에 따른 감소항과 오차 진폭으로 분해된다는 것을 보인다.
• 저주파가 학습 우선순위를 받는다는 정리와 저주파 수렴이 보존되는 조건을 증명한다.
• 일반 DNN에 대한 프레임워크의 질적 확장을 주장하고 활성화 스펙트럼의 역할을 논의한다.
• 자연 이미지, 1-D 함수, MNIST에 대한 실험으로 이론을 경험적으로 검증하고 작은 초기화와 큰 초기화를 비교한다.

실험 결과

연구 질문

• RQ1 기울기 기반 학습 동역학이 목표 함수의 저주파 성분의 오차를 우선적으로 줄이는가?
• RQ2 초기화 스케일이 학습된 함수의 주파수 구성과 일반화 성능에 어떤 영향을 미치는가?
• RQ3 푸리에 분석 프레임워크가 설명된 단일 은닉층 모델을 넘어 일반 DNN 구조에도 질적으로 확장될 수 있는가?
• RQ4 Natural images와 MNIST 같은 실제 데이터셋에서 주파수 우선 현상을 뒷받침하는 실증적 증거는 무엇인가?

주요 결과

• 목표 함수의 저주파 성분은 기울기 기반 최적화 하에서 더 높은 학습 우선순위를 부여받는다.
• 작은 초기화는 고주파 진폭을 작게 만들고 일반화에 유리하며, 여전히 네트워크가 임의의 함수를 맞출 수 있게 한다.
• 주파수-도메인 그래디언트의 감소 항은 활성화 함수와 가중치 스케일에 연결되어 주파수 학습 순서를 안내한다.
• 큰 네트워크의 스펙트럴 노름은 학습 동안 거의 변하지 않지만, 프레임워크는 여전히 관찰된 학습 역학을 질적으로 설명할 수 있다.
• 자연 이미지와 MNIST에 대한 실험은 주파수 우선성과 초기화가 일반화에 미치는 영향을 보여준다.