[논문 리뷰] The Effect of Gradient Noise on the Energy Landscape of Deep Networks

Pratik Chaudhari, Stefano Soatto|arXiv (Cornell University)|2015. 11. 20.

Model Reduction and Neural Networks참고 문헌 41인용 수 3

한 줄 요약

이 논문은 외부 자석장이 작용하는 구형 스핀 거품 시스템으로서의 학습 과정을 모델링하여 딥 러닝에서 추가적 기울기 노이즈에 대한 새로운 안내 계획을 제안한다. 노이즈 크기를 증가시켜 임계점의 수를 지수적 수준에서 하나로 줄이는 토폴로지 단순화를 활용함으로써, 학습 속도를 향상시키고 일반화 성능을 향상시킨다. 이는 완전히 연결된 네트워크와 컨볼루션 네트워크에서 검증되었다.

ABSTRACT

We analyze the regularization properties of additive gradient noise in the training of deep networks by posing it as finding the ground state of the Hamiltonian of a spherical spin glass in an external magnetic field. We show that depending upon the magnitude of the magnetic field, the Hamiltonian changes dramatically from a highly non-convex energy landscape with exponentially many critical points to a regime with polynomially many critical points and finally, trivializes' to exactly one minimum. This phenomenon, known as topology trivialization in the physics literature, can be leveraged to devise annealing schemes for additive noise such that the training starts in the polynomial regime but gradually morphs the energy landscape into the original one as training progresses. We demonstrate through experiments on fully-connected and convolutional neural networks that annealing schemes based on trivialization lead to accelerated training and also improve generalization error.

연구 동기 및 목표

• 딥 네트워크 학습에서 추가적 기울기 노이즈의 정규화 효과를 이해하는 것.
• 통계역학 개념을 활용해 기울기 노이즈 하에서 딥 네트워크의 에너지 표면을 모델링하는 것.
• 노이즈 크기가 손실 표면의 토폴로지, 특히 임계점의 수에 어떻게 영향을 주는지 규명하는 것.
• 토폴로지 단순화를 활용해 향상된 학습 효율성과 일반화 성능을 달성하는 안내 계획을 개발하는 것.
• 제안된 방법을 완전히 연결된 네트워크와 컨볼루션 신경망에서 경험적으로 검증하는 것.

제안 방법

• 학습 과정은 외부 자석장이 작용하는 구형 스핀 거품 해밀토니안의 기초 상태를 찾는 것으로 모델링된다.
• 자석장 강도는 추가적 기울기 노이즈의 크기와 대응된다.
• 계의 계면 전이를 분석하여 임계점의 수가 지수적으로 많은 영역, 다항식적으로 많은 영역, 그리고 단일 최소값이 존재하는 영역를 식별한다.
• 토폴로지 단순화를 활용해 초기에 다항식 영역에 머무르고 원래의 표면으로 전이하는 안내 스케줄을 설계한다.
• 학습 중에 노이즈 크기를 점차 줄여가며 안내 스케줄을 구현한다. 초기에는 표면을 단순화시키는 수준의 노이즈 크기를 사용한다.
• 완전히 연결된 네트워크와 컨볼루션 네트워크에서 실험을 수행하여 학습 속도와 일반화 성능를 평가한다.

실험 결과

연구 질문

• RQ1 추가적 기울기 노이즈는 딥 네트워크의 손실 표면의 토폴로지를 어떻게 변화시키는가?
• RQ2 노이즈 크기와 에너지 표면의 임계점 수 사이의 관계는 무엇인가?
• RQ3 토폴로지 단순화는 효과적인 노이즈 안내 스케줄을 설계하는 데 활용될 수 있는가?
• RQ4 단순화 기반의 노이즈 안내 계획은 학습 속도 향상과 일반화 성능 향상에 기여하는가?
• RQ5 제안된 방법은 고정된 노이즈 또는 노이즈 없이 표준 학습 방식과 비교해 어떻게 다를까?

주요 결과

• 노이즈 크기를 증가시킬수록 손실 표면은 지수적으로 많은 임계점이 존재하는 매우 비볼록적인 상태에서 다항식적으로 많은 임계점이 존재하는 영역으로 전이된다.
• 고수준의 노이즈에서는 표면가 정확히 하나의 최소값으로 단순화되며, 최적화 역학의 급격한 단순화를 나타낸다.
• 다항식 영역에서 시작하여 원래의 표면으로 전이하는 제안된 안내 계획은 표준 방법보다 학습 속도를 빠르게 한다.
• 안내 계획 하에서 일반화 오차가 향상되어 더 나은 일반화 성능을 나타낸다.
• 이 방법은 완전히 연결된 네트워크와 컨볼루션 신경망 모두에서 효과적이며 광범위한 적용 가능성을 보여준다.