[논문 리뷰] Norm matters: efficient and accurate normalization schemes in deep networks

Elad Hoffer, Ron Banner외 2명|arXiv (Cornell University)|2018. 03. 05.

Model Reduction and Neural Networks참고 문헌 43인용 수 52

한 줄 요약

본 논문은 심층 신경망에서 정규화를 재고하며, 가중치 감소(weight decay), 학습률, 정규화가 가중치 노름(weight norms)을 통해 상호 작용한다는 것을 보인다; L1 및 L∞ 기반의 BN 변형과 경계 가중치 정규화(bounded weight normalization)를 제안하여 안정성을 높이고 하프-정밀도(half-precision) 학습을 가능하게 하며 경쟁력 있는 정확도를 달성한다.

ABSTRACT

Over the past few years, Batch-Normalization has been commonly used in deep networks, allowing faster training and high performance for a wide variety of applications. However, the reasons behind its merits remained unanswered, with several shortcomings that hindered its use for certain tasks. In this work, we present a novel view on the purpose and function of normalization methods and weight-decay, as tools to decouple weights' norm from the underlying optimized objective. This property highlights the connection between practices such as normalization, weight decay and learning-rate adjustments. We suggest several alternatives to the widely used $L^2$ batch-norm, using normalization in $L^1$ and $L^\infty$ spaces that can substantially improve numerical stability in low-precision implementations as well as provide computational and memory benefits. We demonstrate that such methods enable the first batch-norm alternative to work for half-precision implementations. Finally, we suggest a modification to weight-normalization, which improves its performance on large-scale tasks.

연구 동기 및 목표

• 가중치 노름이 정규화 및 학습 역학과 어떻게 상호 작용하는지 이해한다.
• 가중치 노름과 최적화 목표를 분리하는 정규화 대안을 제안한다.
• 저정밀도 환경에서 수치적 안정성과 효율성을 개선한다.
• L1 및 L∞ 기반의 정규화를 배치 정규화(BN)의 대안 또는 보완으로 평가한다.
• 대규모 학습 성능을 향상시키기 위해 경계 가중치 정규화(BWN)를 도입한다.

제안 방법

• BN의 가중치 노름에 대한 불변성을 최적화 역학으로부터의 스케일 분리를 위한 메커니즘으로 해석한다.
• 학습 역학에서 가중치 감소 효과를 모방하는 학습률 보정식을 도출하고 테스트한다.
• 안정성과 성능을 위해 L2 BN을 L1 및 L∞ 기반 BN 변형으로 교체하거나 보강하고 안정성과 성능을 위한 적절한 스케일링 상수(C_L1 등)를 도출한다.
• L1 BN이 L2 BN이 실패할 수 있는 하프-정밀도 학습을 가능하게 함을 보인다.
• ImageNet과 시퀀스-투-시퀀스(seq2seq) 과제에서 안정성과 성능을 개선하기 위해 채널별 가중치 노름을 스칼라 ρ로 고정하는 경계 가중치 정규화(BWN)를 도입한다.
• 표준 가중치 정규화에 대한 대안으로 Lp 가중치 정규화(L1 및 L∞ 변형 포함)를 탐구한다.

실험 결과

연구 질문

• RQ1 가중치 노름이 배치 정규화와 어떻게 상호 작용하여 학습 역학과 유효 스텝 크기에 영향을 미치는가?
• RQ2 대체 노름 기반 정규화(L1, L∞)가 BN의 정확도에 근접하면서도 계산적 이점과 저정밀도 이점을 제공할 수 있는가?
• RQ3 경계 가중치 정규화로 가중치 노름을 제한하는 것이 대규모 작업 및 시퀀스 모델에서 성능을 개선하는가?
• RQ4 L1 정규화를 사용하여 하프-정밀도에서 배치 정규화를 수행하는 것이 가능한가?
• RQ5 전통적 가중치 정규화에 비해 Lp 가중치 정규화의 트레이드오프는 무엇인가?

주요 결과

• 가중치 감소는 가중치 노름을 제약함으로써 최적화를 개선하고 학습률을 안정화시키며, 학습 역학에 대한 효과는 학습률 조정이나 정규화를 통해서도 달성될 수 있다.
• L1 및 L∞ 기반 배치 정규화는 CIFAR 및 ImageNet에서 L2 BN의 정확도에 맞거나 근접하게 도달할 수 있으며, L1 BN은 안정적인 하프-정밀도 학습을 가능하게 한다.
• L1 BN은 계산 및 메모리 이점을 제공하고 양자화 노이즈하에서도 강건하며, L2 BN이 실패하는 경우에도 하프-정밀도 BN을 가능하게 한다.
• 경계 가중치 정규화(BWN) 접근법은 표준 가중치 정규화에 비해 대규모 작업(ImageNet)에서 성능을 크게 향상시키며 BN 성능에 근접한다.
• L1 및 Lp 정규화는 여러 아키텍처(ResNet, Transformer)에서 BN의 대안으로 작동할 수 있으며 정확도 손실이 최소화된다.