[논문 리뷰] Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches

Guangrun Wang, Jiefeng Peng외 3명|arXiv (Cornell University)|2018. 02. 09.

Advanced Neural Network Applications참고 문헌 15인용 수 21

한 줄 요약

이 논문은 깊이 있는 신경망을 통합된 시스템으로 간주하여 칼만 필터링 원리를 활용해 내부 표현의 통계 추정을 향상시키는 새로운 정규화 기법인 배치 칼만 정규화(Batch Kalman Normalization, BKN)를 제안한다. BKN은 마이크로배치를 사용할 때 안정적이고 빠른 학습을 가능하게 하며, ImageNet에서 표준 배치 크기의 64분의 1로 더 작은 배치 크기로 최신 기준 성능을 달성하고, CIFAR-10/100에서 BN 및 그 변종보다 각각 1.5%와 3.5% 높은 성능을 기록한다.

ABSTRACT

As an indispensable component, Batch Normalization (BN) has successfully improved the training of deep neural networks (DNNs) with mini-batches, by normalizing the distribution of the internal representation for each hidden layer. However, the effectiveness of BN would diminish with scenario of micro-batch (e.g., less than 10 samples in a mini-batch), since the estimated statistics in a mini-batch are not reliable with insufficient samples. In this paper, we present a novel normalization method, called Batch Kalman Normalization (BKN), for improving and accelerating the training of DNNs, particularly under the context of micro-batches. Specifically, unlike the existing solutions treating each hidden layer as an isolated system, BKN treats all the layers in a network as a whole system, and estimates the statistics of a certain layer by considering the distributions of all its preceding layers, mimicking the merits of Kalman Filtering. BKN has two appealing properties. First, it enables more stable training and faster convergence compared to previous works. Second, training DNNs using BKN performs substantially better than those using BN and its variants, especially when very small mini-batches are presented. On the image classification benchmark of ImageNet, using BKN powered networks we improve upon the best-published model-zoo results: reaching 74.0% top-1 val accuracy for InceptionV2. More importantly, using BKN achieves the comparable accuracy with extremely smaller batch size, such as 64 times smaller on CIFAR-10/100 and 8 times smaller on ImageNet.

연구 동기 및 목표

• 작은 샘플 수로 인해 배치 통계가 신뢰할 수 없게 되는 마이크로배치 환경에서 배치 정규화(BN)의 불안정성과 열악한 성능 문제를 해결하기 위해.
• 매우 작은 미니배치 크기를 사용할 때 깊이 있는 신경망의 학습 안정성과 수렴 속도를 향상시키기 위해.
• 네트워크를 단일 동적 시스템으로 모델링하여 모든 레이어 간의 상관관계를 활용하는 정규화 방법을 개발하기 위해. 이는 칼만 필터링에 영감을 받음.
• 표준 배치 크기에서 BN과 유사한 성능를 달성하면서도, 특히 자원이 제한된 환경에서 요구되는 배치 크기를 크게 줄이기 위해.

제안 방법

• BKN은 전체 깊이 있는 신경망을 단일 동적 시스템으로 모델링하여 각 레이어의 통계가 상호의존적임을 간주함.
• 이전 레이어의 예측과 현재 미니배치의 관측된 통계를 조합하여 각 레이어의 내부 표현의 평균과 공분산을 추정함. 이는 칼만 필터링을 모방함.
• 예측 단계는 이전 레이어의 추정 평균과 공분산에 기반하고, 업데이트 단계는 이 예측과 현재 미니배치 통계를 융합함.
• 업데이트 단계의 보정 계수는 예측 분포와 관측된 배치 통계 간의 신뢰도를 균형 잡는 데 사용되며, 낮은 샘플 수 환경에서의 강인성을 향상시킴.
• BKN은 BN과 유사하게 학습 반복 동안 통계의 이동 평균을 유지하지만, 레이어 간의 정보 흐름을 통해 더 정확한 추정을 가능하게 함.
• 정규화 레이어는 학습 가능한 스케일 및 시프트 파라미터(γ 및 β)를 적용하며, 칼만 유사 추정 과정을 통해 역전파를 통해 기울기를 유도함.

실험 결과

연구 질문

• RQ1 전체 네트워크를 통합된 시스템으로 간주하는 정규화 방법이, 레이어 단위 정규화보다 마이크로배치 환경에서 학습 안정성을 향상시킬 수 있는가?
• RQ2 미니배치 크기가 매우 작을 경우(예: <10) 칼만 필터링에 영감을 받은 통계 추정 방식이 배치 통계의 신뢰성을 어떻게 향상시키는가?
• RQ3 ImageNet에서 표준 BN 설정 대비 64배 작은 배치 크기로 학습할 때 BKN이 성능을 유지하거나 향상시킬 수 있는 정도는 어느 정도인가?
• RQ4 특히 배치 크기가 극히 작을 경우 BKN이 배치 재정규화(Batch Renormalization, BRN)보다 수렴 속도와 최종 정확도 측면에서 뛰어나게 되는가?
• RQ5 BKN이 최소한의 배치 크기로 표준 벤치마크인 CIFAR-10/100 및 ImageNet에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• ImageNet에서 BKN은 InceptionV2를 사용해 상위 1위 검증 정확도 74.0%를 기록하며, 공개된 최고의 모델 자료집 결과를 초월함.
• CIFAR-10/100에서 BKN은 표준 BN 설정 대비 64배 작은 배치 크기로 학습하면서도 유사한 정확도를 유지함.
• CIFAR-100에서 BKN은 배치 크기가 2인 마이크로배치를 사용할 때 BN보다 정확도를 3.5% 향상시켜 작은 배치 크기에 대한 강력한 강인성을 입증함.
• BKN은 배치 크기가 2인 경우 CIFAR-10에서 91.0%의 정확도를 기록했으며, BN이 배치 크기 128일 때 기록한 92.1%에 비해 성능 저하가 거의 없음.
• BKN은 특히 작은 배치로 학습하는 초기 단계에서 BN 및 BRN보다 더 빠른 수렴과 높은 학습 안정성을 보임.
• 제거 실험 결과, 칼만 필터링 메커니즘이 필수적임을 확인하였으며, 이를 제거할 경우 표준 BN에 비해 성능 향상이 없음.