[논문 리뷰] Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks

Tim Salimans, Diederik P. Kingma|arXiv (Cornell University)|2016. 02. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 928

한 줄 요약

가중치 정규화는 가중치를 w = (g/||v||) v 로 재매개변수화하여 길이와 방향을 분리하고, 다양한 아키텍처(RNN 및 RL 포함)에서 기울기 조건화를 개선하며 확률적 경사 하강법을 가속화하고 배치 정규화보다 오버헤드가 작습니다.

ABSTRACT

We present weight normalization: a reparameterization of the weight vectors in a neural network that decouples the length of those weight vectors from their direction. By reparameterizing the weights in this way we improve the conditioning of the optimization problem and we speed up convergence of stochastic gradient descent. Our reparameterization is inspired by batch normalization but does not introduce any dependencies between the examples in a minibatch. This means that our method can also be applied successfully to recurrent models such as LSTMs and to noise-sensitive applications such as deep reinforcement learning or generative models, for which batch normalization is less well suited. Although our method is much simpler, it still provides much of the speed-up of full batch normalization. In addition, the computational overhead of our method is lower, permitting more optimization steps to be taken in the same amount of time. We demonstrate the usefulness of our method on applications in supervised image recognition, generative modelling, and deep reinforcement learning.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 그래디언트 조건화를 개선하여 더 빠르고 안정적인 최적화를 유도한다는 목표를 제시한다.

제안 방법

• 각 가중치 벡터 w를 w = (g/||v||) v 로 재매개변수화하여 매개변수 v와 g를 도입한다.
• 역전파를 가능하게 하는 도출된 방정식을 사용하여 v와 g에 대한 그래디런트를 계산한다.
• 이를 통해 가중치의 크기(norm)와 방향(direction)을 분리하고 그래디언트 공분산이 항등행렬에 더 가까워져 수렴 속도가 빨라짐을 보인다.
• 가중치 정규화를 배치 정규화와 관련시키되, 결정적이고 미니배치에 독립적임을 주목한다.
• 훈련을 안정시키는 실용적 초기화 방식을 제공하고 평균만 포함하는 배치 정규화(mean-only batch normalization)와 같은 확장에 대해 논의한다.
• 감독 학습, 생성적 학습, 강화 학습 작업 전반에 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 가중치 정규화가 표준 매개변수화에 비해 학습 속도와 수렴을 향상시키는가?
• RQ2 가중치 정규화가 속도, 오버헤드, 학습율에 대한 강건성 측면에서 배치 정규화와 어떻게 비교되는가?
• RQ3 배치 정규화가 문제를 일으키는 RNN/LSTM 및 강화 학습 설정에 가중치 정규화를 효과적으로 적용할 수 있는가?
• RQ4 가중치 정규화를 실현하기 위한 안정적인 학습을 위한 초기화 전략은 무엇인가?

주요 결과

모델	테스트 오차 (%)
Maxout	11.68%
Network in Network	10.41%
deeply Supervised	9.60%
ConvPool-CNN-C	9.31%
ALL-CNN-C	9.08%
Our CNN, mean-only B.N.	8.52%
Our CNN, weight norm.	8.46%
Our CNN, normal param.	8.43%
Our CNN, batch norm.	8.05%
Our W.N. + mean-only B.N.	7.31%

• 가중치 정규화는 수렴 속도를 높이고 표준 매개변화에 비해 더 넓은 학습률 범위에서 강건한 최적화를 제공한다.
• 평균만 포함하는 배치 정규화와 결합된 가중치 정규화가 CIFAR-10 테스트 오차에서 최적의 성능을 보인다(7.31%).
• 가중치 정규화는 배치 정규화와 유사한 가속을 얻되 계산 오버헤드가 낮고 미니배치 의존성이 없다.
• CNN(CIFAR-10), CVAEs(MNIST, CIFAR-10), DRAW(MNIST), DQN(아타리)에 적용했을 때 가중치 정규화는 일관되게 학습 속도를 높이고 성능을 향상시키거나 일치시킨다.
• CIFAR-10 실험에서 평균만 포함하는 배치 정규화와 함께 가중치 정규화는 테스트 오차 측정에서 표준 BN, 완전 정규화 BN, 일반 매개변수화 대비 우수한 성능을 보인다.