[논문 리뷰] Towards Understanding the Importance of Noise in Training Neural Networks

Mo Zhou, Tianyi Liu외 4명|arXiv (Cornell University)|2019. 09. 07.

Stochastic Gradient Optimization Techniques인용 수 16

한 줄 요약

이 논문은 두 층의 컨볼루션 신경망에서 허위 국소 최소값이 존재하는 비볼록 최적화 과정에서 기울기 업데이트의 노이즈가 전역 최적해로의 수렴을 가능하게 하는 방식을 조사한다. 흐름에 노이즈를 도입하고 노이즈 감쇠 기법을 결합함으로써, 저자들은 임의의 초기화 조건 하에서도 다항 시간 내에 전역 최적해로의 수렴을 증명한다. 이는 비볼록 최적화 과정에서 노이즈가 열악한 국소 최적해를 회피하는 데 기여함을 보여준다.

ABSTRACT

Numerous empirical evidence has corroborated that the noise plays a crucial rule in effective and efficient training of neural networks. The theory behind, however, is still largely unknown. This paper studies this fundamental problem through training a simple two-layer convolutional neural network model. Although training such a network requires solving a nonconvex optimization problem with a spurious local optimum and a global optimum, we prove that perturbed gradient descent and perturbed mini-batch stochastic gradient algorithms in conjunction with noise annealing is guaranteed to converge to a global optimum in polynomial time with arbitrary initialization. This implies that the noise enables the algorithm to efficiently escape from the spurious local optimum. Numerical experiments are provided to support our theory.

연구 동기 및 목표

• 깊은 신경망 학습 과정에서 노이즈가 허위 국소 최적해를 회피하는 데 기여하는 이론적 역할을 이해하는 것.
• 노이즈 감쇠를 적용한 변형 기울기 하강법이 알려진 허위 최소값이 존재하는 두 층의 컨볼루션 신경망에서 전역 최적해로 수렴할 수 있는지 분석하는 것.
• 비볼록성과 열악한 국소 최적해가 존재하는 상황에서도 최적화의 엄밀한 수렴 보장을 제공하는 것.
• 노이즈가 임의의 초기화 조건 하에서도 나쁜 국소 최적해에서 효율적으로 벗어나도록 도와주는 것을 입증하는 것.

제안 방법

• 저자들은 식별 가능성을 보장하기 위해 ReLU 활성화 함수와 단위 노름 가중치 제약 조건을 갖는 두 층의 겹치지 않는 컨볼루션 신경망을 연구한다.
• 각 업데이트 단계에서 독립적인 노이즈를 주입하는 변형 기울기 하강 알고리즘을 분석하며, 이는 SGD의 샘플에 의존하는 노이즈와는 다릅니다.
• 노이즈 감쇠 기법을 적용하여 에포크가 진행됨에 따라 노이즈의 크기를 점차 줄여 수렴을 안정화시킨다.
• 이론적 분석은 마팅글의 집중 및 아즈마 부등식을 사용하여 기대값에서의 업데이트 동역학과의 편차를 제한한다.
• 증명 과정은 알고리즘이 다항 시간 내에 높은 확률로 전역 최적해로 수렴함을 보여준다.
• 분석은 출력 가중치 벡터 $a$에 집중하며, 노이즈가 손실 곡면을 매끄럽게 만들어 허위 최소값의 영향을 제거함을 보여준다.

실험 결과

연구 질문

• RQ1 알려진 허위 국소 최소값이 존재하는 두 층의 컨볼루션 신경망에서 기울기 업데이트의 노이즈가 전역 최적해로의 수렴을 가능하게 할 수 있는가?
• RQ2 노이즈 감쇠는 비볼록 최적화에서 변형 기울기 하강법의 수렴 행동에 어떤 영향을 미치는가?
• RQ3 SGD에서 노이즈가 날카롭고 일반화 성능이 열악한 최소값을 피하는 데 이론적으로 어떤 근거가 있는가?
• RQ4 임의의 초기화 조건 하에서도 변형 기울기 하강법이 허위 국소 최적해를 벗어날 수 있는가?

주요 결과

• 노이즈 감쇠를 적용한 변형 기울기 하강법은 임의의 초기화 조건 하에서도 다항 시간 내에 전역 최적해로 수렴한다.
• 알고리즘이 노이즈에 의해 유도된 손실 곡면의 매끄러움 덕분에 허위 국소 최적해를 벗어나게 된다.
• 높은 확률 $1 - \widetilde{O}(\eta^2\delta)$ 하에, $\widetilde{O}(\eta^{-2})$ 반복 후 출력 가중치 $a_t$는 진짜 $a^*$로부터 $O(\gamma)$ 이내에 유지된다.
• 수렴 속도는 스텝 크기 $\eta$의 역수에 대해 다항식이며, 노이즈 수준은 감쇠를 통해 정밀하게 조정된다.
• 수치 실험 결과는 이론적 발견을 지지하며, 노이즈가 최적해가 아닌 해로의 수렴을 방지함을 보여준다.
• 결과는 가우시안 입력과 실현 가능한 티처-스터디 네트워크 설정을 전제로 한다.