[논문 리뷰] Online Normalization for Training Neural Networks

Vitaliy Chiley, Ilya Sharapov외 6명|arXiv (Cornell University)|2019. 05. 01.

Neural Networks and Applications인용 수 23

한 줄 요약

이 논문은 배치가 필요 없이 신경망의 은닉 활성화를 정규화하는 기법인 온라인 정규화를 소개한다. 이 기법은 자동 미분에 호환되는 편향이 없는 기울기 계산 방법을 사용하며, 이미지 분류, 세분화, 언어 모델링 작업 전반에서 배치 정규화와 동등한 성능을 달성한다. 이는 배치를 사용하는 것이 비현실적인 환경에서도 학습을 가능하게 한다.

ABSTRACT

Online Normalization is a new technique for normalizing the hidden activations of a neural network. Like Batch Normalization, it normalizes the sample dimension. While Online Normalization does not use batches, it is as accurate as Batch Normalization. We resolve a theoretical limitation of Batch Normalization by introducing an unbiased technique for computing the gradient of normalized activations. Online Normalization works with automatic differentiation by adding statistical normalization as a primitive. This technique can be used in cases not covered by some other normalizers, such as recurrent networks, fully connected networks, and networks with activation memory requirements prohibitive for batching. We show its applications to image classification, image segmentation, and language modeling. We present formal proofs and experimental results on ImageNet, CIFAR, and PTB datasets.

연구 동기 및 목표

• 배치 정규화의 이론적 한계, 특히 소형 배치에 의존하고 기울기 계산이 편향되는 점을 해결한다.
• 반복 신경망이나 높은 메모리 요구량이 있는 완전 연결 신경망과 같이 배치 처리가 불가능한 아키텍처에서 효과적인 정규화를 가능하게 한다.
• 통계 정규화를 기본 연산으로 통합하여 자동 미분 프레임워크와 호환되는 정규화 기법을 개발한다.
• 배치 통계 자료를 요구하지 않으면서도 배치 정규화 수준의 학습 안정성과 정확도를 달성한다.
• 순차적이고 메모리 집약적인 딥 러닝 모델에 정규화의 적용 범위를 확장한다.

제안 방법

• 배치 정규화의 핵심 이론적 결함을 극복하기 위해, 정규화된 활성화에 대한 편향 없는 기울기 계산 기법을 신규로 도입한다.
• 자동 미분 프레임워크 내에서 정규화를 기본 연산으로 체계화하여 기울기 흐름을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 고정된 소형 배치에 의존하지 않고, 평균과 분산의 누적 추정치를 사용해 학습 중에 배치 통계를 온라인으로 계산한다.
• 배치 정규화와 유사하게 은닉 활성화의 샘플 차원에 정규화를 적용하지만, 배치 수준의 통계 자료가 필요하지 않다.
• 순차적 또는 길이가 변하는 입력에서 학습 중 정확한 정규화를 유지하기 위해 누적 통계의 재귀적 업데이트 규칙을 사용한다.
• 기울기 편향을 유발하지 않으며, 역전파가 가능한 차별 가능한 구성 요소로 정규화 레이어를 통합한다.

실험 결과

연구 질문

• RQ1 배치 정규화의 배치 의존성을 피하면서도 동등한 성능을 달성할 수 있는 정규화 기법을 개발할 수 있는가?
• RQ2 자동 미분에 호환되는 방식으로 정규화된 활성화에 대해 편향 없는 기울기를 계산할 수 있는가?
• RQ3 온라인 정규화는 배치 처리가 비현실적인 반복 신경망과 완전 연결 신경망에서 학습을 안정화하는 데 효과적인가?
• RQ4 다양한 작업에서 온라인 정규화와 배치 정규화의 정확도 및 수렴 속도는 어떻게 비교되는가?
• RQ5 온라인 정규화는 이미지 및 시퀀스 모델링 작업을 포함한 다양한 아키텍처와 데이터셋으로 일반화되는가?

주요 결과

• 온라인 정규화는 ImageNet에서 배치 정규화와 동등하거나 이를 초월하는 테스트 정확도를 달성하여 성능의 동등성을 입증한다.
• 이 기법은 메모리나 순서 제약으로 인해 배치 정규화가 불가능한 반복 신경망과 완전 연결 신경망의 안정적 학습을 가능하게 한다.
• CIFAR-10 및 CIFAR-100에서의 실험 결과, 온라인 정규화는 배치 통계 자료 없이도 높은 정확도를 유지함을 확인했다.
• PTB 언어 모델링 데이터셋에서 온라인 정규화는 경쟁 가능한 퍼플렉서티 스코어를 달성하여 순차적 모델링에서의 효과성을 확인했다.
• 이론적 분석을 통해 온라인 정규화가 편향 없는 기울기 추정을 제공함을 확인하여, 배치 정규화의 핵심 한계를 해결했다.
• 이 기법은 자동 미분 프레임워크와 호환되어 현대 딥 러닝 파이프라인에 원활하게 통합될 수 있다.