[논문 리뷰] Adding Gradient Noise Improves Learning for Very Deep Networks

Arvind Neelakantan, Luke Vilnis외 5명|arXiv (Cornell University)|2015. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 265

한 줄 요약

이 논문은 매우 깊은 신경망의 훈련을 향상시키기 위해 확률적 경사하강법 동안 온도 조절된 가우시안 경사 노이즈를 도입한다. 이 방법은 매개변수 공간 탐색을 장려함으로써 최적화를 향상시키며, 열악한 초기화 상태에서 20층의 완전 연결 신경망을 성공적으로 훈련시키고, 질문-응답 작업에서 상대 오차를 72% 감소시키며, 7,000회의 랜덤 재시작 동안 이진 곱셈 모델의 정확한 결과 수를 두 배로 늘린다.

ABSTRACT

Deep feedforward and recurrent networks have achieved impressive results in many perception and language processing applications. This success is partially attributed to architectural innovations such as convolutional and long short-term memory networks. The main motivation for these architectural innovations is that they capture better domain knowledge, and importantly are easier to optimize than more basic architectures. Recently, more complex architectures such as Neural Turing Machines and Memory Networks have been proposed for tasks including question answering and general computation, creating a new set of optimization challenges. In this paper, we discuss a low-overhead and easy-to-implement technique of adding gradient noise which we find to be surprisingly effective when training these very deep architectures. The technique not only helps to avoid overfitting, but also can result in lower training loss. This method alone allows a fully-connected 20-layer deep network to be trained with standard gradient descent, even starting from a poor initialization. We see consistent improvements for many complex models, including a 72% relative reduction in error rate over a carefully-tuned baseline on a challenging question-answering task, and a doubling of the number of accurate binary multiplication models learned across 7,000 random restarts. We encourage further application of this technique to additional complex modern architectures.

연구 동기 및 목표

• 신경 터미팅 머신과 메모리 네트워크와 같은 매우 깊고 복잡한 신경망 아키텍처에서의 최적화 과제 해결.
• 특히 열악한 초기화 상태에서 어려움을 겪는 깊은 순환 및 전방향 신경망의 훈련 문제 해결.
• 다양한 랜덤 초기화 및 하이퍼파rameter 설정에서 일반화 및 강인성 향상.
• 구조적 변경 없이도 적용이 용이하고 오버헤드가 낮은 기법 탐색.
• 알고리즘 학습 및 질문-응답과 같은 다양한 복잡한 모델에서 일관된 성능 향상 입증.

제안 방법

• 역전파 과정에서 기울기 클리핑 이후 기울기에 평균 0인 가우시안 노이즈 추가.
• 노이즈 분산에 대해 정해진 감쇠 함수에 따라 시간이 지남에 따라 감소하는 온도 조절 스케줄 사용.
• 표준 확률적 경사하강 업데이트 단계에서 기울기에 노이즈 적용.
• 기준 모델과 동일한 최적화 하이퍼파ram터(예: 학습률, 배치 크기) 유지.
• 단 한 줄의 코드로 노이즈 주입을 구현하여 매우 실용적이고 구현이 용이함.
• 실험에서는 Adam 최적화기를 사용하며, 기울기 클리핑 이후에 노이즈를 적용하여 업데이트 안정화.

실험 결과

연구 질문

• RQ1 온도 조절된 경사 노이즈 추가가 매우 깊은 전방향 및 순환 신경망에서 훈련 안정성과 수렴성 향상에 기여하는가?
• RQ2 경사 노이즈가 다수의 랜덤 초기화 상태에서 일반화 및 강인성을 향상시키는가?
• RQ3 경사 노이즈가 표준 SGD가 실패하는 열악한 초기화 상태에서 깊은 신경망을 훈련시키는 데 도움이 되는가?
• RQ4 질문-응답 및 알고리즘 학습과 같은 복잡한 작업에서 경사 노이즈가 성능에 어떤 영향을 미치는가?
• RQ5 경사 노이즈의 온도 조절 스케줄이 일정하거나 비온도 조절된 노이즈보다 측정 가능한 성능 향상을 제공하는가?

주요 결과

• 온도 조절된 경사 노이즈의 추가로, 표준 확률적 경사하강법을 사용하여 열악한 초기화 상태에서 20층의 ReLU 완전 연결 신경망을 성공적으로 훈련시켰다.
• 어려운 질문-응답 작업에서, 이 방법은 철저히 튜닝된 기준 모델 대비 상대 오차율을 72% 감소시켰다.
• 이진 곱셈 작업에 대해 7,290회의 랜덤 재시작을 포함한 대규모 실험에서, 경사 노이즈를 사용해 훈련된 모델은 노이즈가 없는 기준 모델 대비 오차율 < 1%인 정확한 결과 수를 두 배 이상 확보했다.
• 노이즈가 있는 경우 하이퍼파ram터 설정과 초기화 상태 모두에서 강인성이 향상되었으며, k번째 원소 작업에서 노이즈가 있는 경우 성공률 11.3% 대비 노이즈가 없는 경우 1.3%로 높아졌다.
• 경사 노이즈는 훈련 손실을 감소시키고 일반화를 향상시켜, 복잡한 손실 곡면에서 열악한 국소 최소값을 벗어나는 데 기여하는 것으로 나타났다.
• 이 기법은 완전 연결 신경망, 신경 GPU, 질문-응답 모델을 포함한 다양한 아키텍처에서 일관되게 성능 향상을 이뤘다.