[논문 리뷰] Normalizing the Normalizers: Comparing and Extending Network Normalization Schemes

Mengye Ren, Renjie Liao외 3명|arXiv (Cornell University)|2016. 11. 14.

Domain Adaptation and Few-Shot Learning인용 수 47

한 줄 요약

이 논문은 배치 정규화와 레이어 정규화를 일반화하여 텐서 차원에 따라 활성화를 정규화하는 통합 나눗셈 정규화 프레임워크를 제안한다. 부드럽게 하는 항목($σ^2$)과 활성화에 대한 L1 정규화를 통합함으로써, 배치 통계에 의존하지 않고도 CNN과 RNN에서 훈련 안정성과 성능을 향상시킨다. 이미지 분류, 언어 모델링, 초해상도 분야에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Normalization techniques have only recently begun to be exploited in supervised learning tasks. Batch normalization exploits mini-batch statistics to normalize the activations. This was shown to speed up training and result in better models. However its success has been very limited when dealing with recurrent neural networks. On the other hand, layer normalization normalizes the activations across all activities within a layer. This was shown to work well in the recurrent setting. In this paper we propose a unified view of normalization techniques, as forms of divisive normalization, which includes layer and batch normalization as special cases. Our second contribution is the finding that a small modification to these normalization schemes, in conjunction with a sparse regularizer on the activations, leads to significant benefits over standard normalization techniques. We demonstrate the effectiveness of our unified divisive normalization framework in the context of convolutional neural nets and recurrent neural networks, showing improvements over baselines in image classification, language modeling as well as super-resolution.

연구 동기 및 목표

• 다양한 텐서 차원(예: 배치, 레이어, 필터, 인스턴스)에 걸쳐 나눗셈 정규화를 기반으로 한 단일 프레임워크 내에서 배치 정규화, 레이어 정규화, 나눗셈 정규화를 통합하는 것.
• 딥 네트워크에서 정규화 성능에 미치는 부드러운 항목($\\sigma^2$)과 L1 정규화의 영향을 조사하는 것.
• 다양한 작업에서 합성곱 신경망과 순환 신경망 양쪽 모두에서 제안된 프레임워크의 효과성을 평가하는 것.
• 특히 낮은 배치 크기 및 RNN 환경에서 훈련 안정성과 일반화 능력 향상 여부를 입증하는 것.
• 나눗셈 정규화에 정규화를 적용한 것이 표준 정규화 기법보다 뛰어난 성능을 내는 경험적 증거를 제공하는 것.

제안 방법

• 다양한 텐서 차원(예: 배치, 레이어, 필터, 인스턴스)에 걸쳐 나눗셈 연산으로서 정규화를 수식화함으로써, 배치 정규화와 레이어 정규화를 특수 케이스로 통합하는 것.
• 수치적 안정성과 역행성 향상을 위해 정규화 분모에 부드러운 파라미터 $σ^2$를 도입하는 것.
• 사전 정규화된 활성화에 L1 정규화를 적용하여 스파arsity를 유도하고 필터 반응 간 상관관계를 감소시키는 것.
• 레이어 정규화를 부드러운 파라미터를 가진 나눗셈 정규화의 한 형태로 재구성하여 성능 향상을 도모하는 것.
• 이른바 제안된 나눗셈 정규화 프레임워크를 사용해 이미지 분류(CIFAR-10/100), 언어 모델링(PTB), 초해상도 작업에 대해 모델을 훈련하는 것.
• 제거 실험을 통해 $σ^2$와 L1 정규화가 모델 성능에 미치는 영향을 고립적으로 분석하는 것.

실험 결과

연구 질문

• RQ1 통합 나눗셈 정규화 프레임워크는 성능 및 안정성 측면에서 배치 정규화와 레이어 정규화에 비해 어떻게 비교되는가?
• RQ2 딥 네트워크의 정규화 분모에 부드러운 항목($σ^2$)을 추가함으로써 어떤 영향을 미치는가?
• RQ3 사전 정규화된 활성화에 대한 L1 정규화는 표현 학습과 모델 일반화에 어떤 영향을 미치는가?
• RQ4 특히 작은 배치 크기에서 RNN에서 나눗셈 정규화가 배치 정규화를 능가할 수 있는가?
• RQ5 $σ^2$와 L1 정규화의 조합이 더 독립적이고 강력한 특징 표현을 만들어내는가?

주요 결과

• 제안된 나눗셈 정규화에 $σ^2$와 L1 정규화를 적용한 결과, CIFAR-100에서 테스트 정확도 0.8122를 달성하여 표준 배치 정규화(0.5156)와 레이어 정규화(0.4957)를 모두 초월한다.
• PTB 데이터셋에서 언어 모델링 작업에서, 이 방법은 ReLU RNN을 사용해 교차 엔트로피 손실을 117.868로 감소시켰으며, 기준 모델과 표준 정규화 기법을 모두 능가한다.
• 단지 $σ^2$를 추가하는 것만으로도 RNN에서 성능 향상이 뚜렷하게 나타나, 기준 모델(149.357)에서 BN*(138.947)과 LN*(116.609)로 손실이 감소함을 확인하여 더 강력한 정규화 효과를 입증한다.
• 제거 실험 결과, 모든 아키텍처와 작업에서 $σ^2$와 L1 정규화가 일관되게 성능 향상을 이끌며, 특히 RNN에서는 $σ^2$가 더 큰 영향을 미친다.
• 공통 히스토그램 분석 결과, $σ^2$와 L1 정규화는 상관관계(Corr)를 감소시키고 상호정보량(MI)을 증가시켜 더 독립적인 표현을 촉진함을 확인한다.
• 이 방법은 RNN에서 더 높은 학습률로 안정적인 훈련을 가능하게 하여, 향상된 훈련 역학성과 강건성을 입증한다.