[논문 리뷰] Random Walk Initialization for Training Very Deep Feedforward Networks

David Sussillo, L. F. Abbott|arXiv (Cornell University)|2014. 12. 19.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 70

한 줄 요약

이 논문은 매우 깊은 피드포워드 네트워크를 위한 새로운 가중치 초기화 기법인 랜덤 워크 초기화(RW-I)를 제안한다. 이 기법은 역전파되는 오차 기울기의 로그 노름이 편향 없는 랜덤 워크를 수행하도록 하여 기울기 흐름을 안정화시킨다. 분석적으로 최적의 스케일링 인자 $ g $를 유도함으로써, 기울기 노름의 변동 범위가 깊이의 제곱근 정도로만 증가하도록 제한하여, MNIST와 TIMIT에서 1000층까지의 네트워크를 거의 영점에 가까운 훈련 오차로 성공적으로 훈련시킬 수 있다.

ABSTRACT

Training very deep networks is an important open problem in machine learning. One of many difficulties is that the norm of the back-propagated error gradient can grow or decay exponentially. Here we show that training very deep feed-forward networks (FFNs) is not as difficult as previously thought. Unlike when back-propagation is applied to a recurrent network, application to an FFN amounts to multiplying the error gradient by a different random matrix at each layer. We show that the successive application of correctly scaled random matrices to an initial vector results in a random walk of the log of the norm of the resulting vectors, and we compute the scaling that makes this walk unbiased. The variance of the random walk grows only linearly with network depth and is inversely proportional to the size of each layer. Practically, this implies a gradient whose log-norm scales with the square root of the network depth and shows that the vanishing gradient problem can be mitigated by increasing the width of the layers. Mathematical analyses and experimental results using stochastic gradient descent to optimize tasks related to the MNIST and TIMIT datasets are provided to support these claims. Equations for the optimal matrix scaling are provided for the linear and ReLU cases.

연구 동기 및 목표

• 기존에 수십 층을 넘는 네트워크의 훈련을 방해하는 매우 깊은 피드포워드 네트워크(FFNs)에서의 기울기 소멸 문제를 해결하기 위해.
• 역전파 과정에서 순차적으로 적용되는 랜덤 가중치 행렬이 FFNs의 기울기 노름 변화에 미치는 영향을 분석하고, 순환 신경망과 대조한다.
• 기울기의 로그 노름이 편향 없는 랜덤 워크를 수행하도록 보장하는 원칙적인 초기화 방법인 랜덤 워크 초기화를 유도한다. 이는 기하급수적인 기울기 감쇠나 폭발을 최소화한다.
• 실제 데이터셋(MNIST, TIMIT)을 대상으로 확률적 기울기 하강법을 사용하여 실험적으로 방법을 검증하고, 극도로 깊은 네트워크의 훈련 가능성을 입증한다.

제안 방법

• 각 층이 평균 0, 분산 $ 1/N $인 i.i.d. 가우시안 가중치 행렬을 스케일링 인자 $ g $로 조정하여 적용하는 랜덤 행렬 모델을 제안하고, 기울기 역전파 동역학을 시뮬레이션한다.
• 오차 기울기 벡터의 로그 노름의 변화를 랜덤 워크로 분석하고, 성장률과 감쇠률을 균형 잡는 조건을 유도하여 편향 없는 워크 조건을 도출한다.
• 최적의 $ g $에 대한 분석적 표현을 유도한다: ReLU 네트워크의 경우 $ g = \sqrt{2 / (1 + \text{var}(f'(a)))} $, 선형 네트워크의 경우 $ g = \sqrt{2 / \text{tr}(\mathbf{W}^T \mathbf{W})} $로, 이는 기울기 노름 스케일링을 안정화시킨다.
• 깊이에 관계없이 다양한 깊이(최대 1000층)의 네트워크를 훈련하기 위해, 고정된 파라미터 한계를 갖는 확률적 기울기 하강법을 사용하고, 이론적으로 유도된 $ g $ 값을 적용한다.
• 훈련 오차와 깊이의 로그-선형 그래프를 그려서 $ \lambda_{in} $, $ \lambda_{out} $, $ g $ 등의 초모수에 따른 기울기 안정성과 성능을 시각화한다.
• 분류(MNIST) 및 오토인코더(MNIST, TIMIT) 작업 모두에서 방법을 검증하여, $ g $가 올바르게 설정된 경우 깊이에 관계없이 일관된 성능을 보임을 보였다.

실험 결과

연구 질문

• RQ1 매우 깊은 피드포워드 네트워크에서 기울기 노름은 깊이에 따라 기하급수적으로 증가하거나 감쇠하는가? 이는 순환 신경망과 유사한가?
• RQ2 랜덤 가중치 행렬의 스케일링을 제어함으로써, 깊은 피드포워드 네트워크에서 역전파되는 기울기 노름을 안정화시킬 수 있는가?
• RQ3 기울기의 로그 노름이 편향 없는 랜덤 워크를 수행하도록 하기 위한 최적의 스케일링 인자 $ g $는 무엇이며, 이는 깊이에 따른 분산 증가를 최소화하는가?
• RQ4 이 초기화 기법을 사용하여 실세계 데이터셋에서 매우 깊은 피드포워드 네트워크(예: 1000층)를 성공적으로 훈련시킬 수 있는가?

주요 결과

• 적절한 가중치 스케일링 인자 $ g $를 선택할 경우, 깊은 피드포워드 네트워크에서 역전파되는 오차 기울기의 로그 노름은 편향 없는 랜덤 워크를 수행하며, 이 경우 분산은 깊이에 비례하고 층의 너비 $ N $에 반비례한다.
• 기울기 노름은 깊이의 제곱근 비례로 증가하며, 기하급수적인 증가가 아니므로, 적절히 초기화된 깊은 FFNs에서는 기울기 소멸 문제가 상당히 완화된다.
• ReLU 네트워크의 경우 최적의 $ g $는 $ \sqrt{2 / (1 + \text{var}(f'(a)))} $이며, 초기화 시 $ f'(a) = 1 $이면 $ \sqrt{2} $로 단순화되며, 이는 편향 없는 랜덤 워크 행동을 보장한다.
• 1000층 네트워크를 사용한 MNIST 실험에서 랜덤 워크 초기화를 적용하여 약 50건의 오류를 기록했으며, 이는 극도로 깊은 네트워크의 훈련 가능성을 입증한다.
• TIMIT 데이터셋에서는 깊이 16에서 최고 성능를 기록했고, 깊이 32도 거의 동일한 성능를 보였으며, 깊이 증가에 따른 명백한 이점은 없었지만, 적절한 초기화를 통해 여전히 성공적인 훈련이 가능했다.
• 이 방법은 제1차 최적화 방법(SGD)에서도 효과적이지만, 특히 극도로 깊은 네트워크(예: 1000층)에서는 학습률 스케줄링과 곡률 문제 등이 매우 중요해지며, 이 경우 훈련 안정화를 위해 $ g > 1 $이 필요하다.