[논문 리뷰] Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models

Sergey Ioffe|arXiv (Cornell University)|2017. 02. 10.

Machine Learning and Data Classification참고 문헌 10인용 수 244

한 줄 요약

배치 Renormalization은 Batch Normalization을 확장하여 미니배치 의존성을 줄이고, 작거나 비-i.i.d. 미니배치에서도 안정적인 학습을 가능하게 하며 학습 효율성과 다른 BN의 이점을 유지합니다. 이는 미니배치에서 계산되지만 역전파 중에는 상수로 처리되는 차원별 선형 보정(r, d)을 도입하고, 학습이 진행될수록 점진적으로 완화됩니다.

ABSTRACT

Batch Normalization is quite effective at accelerating and improving the training of deep models. However, its effectiveness diminishes when the training minibatches are small, or do not consist of independent samples. We hypothesize that this is due to the dependence of model layer inputs on all the examples in the minibatch, and different activations being produced between training and inference. We propose Batch Renormalization, a simple and effective extension to ensure that the training and inference models generate the same outputs that depend on individual examples rather than the entire minibatch. Models trained with Batch Renormalization perform substantially better than batchnorm when training with small or non-i.i.d. minibatches. At the same time, Batch Renormalization retains the benefits of batchnorm such as insensitivity to initialization and training efficiency.

연구 동기 및 목표

• 작고 비-i.i.d.한 미니배치일 때 Batch Normalization의 단점을 동기부여하고 해결한다.
• 활성화는 추론 시와 유사하게 개별 샘플에 의존하도록 확장한다
• BN의 이점(학습 속도, 초기화 강건성)을 유지하면서 학습과 추론 활성화를 정렬한다
• 조정 가능한 보정 한계 및 이동 평균 업데이트를 갖는 실용적이고 구현이 쉬운 방법을 제공한다

제안 방법

• Gradient 계산 during backpropagation에서 상수로 취급되는 각 차원 보정 인자 r과 d를 Batch Normalization 활성화에 도입한다
• r과 d를 미니배치 통계에서 계산하되 r_max와 d_max로 클램프하고 그 값에 stop_gradient를 적용한다
• 학습 중 correction을 mu와 sigma의 이동 평균으로 사용하고 통계치를 최신으로 유지하기 위해 더 높은 업데이트 비율 alpha를 사용한다
• BN에서 Renorm으로의 전환을 위해 학습 중 보정 한계를 점진적으로 완화한다
• x, y, mu, sigma, r, d, gamma, beta에 대한 명시적 역전파 방정식을 제공한다
• mu와 sigma를 업데이트하고 forward 및 backward 패스를 통해 renormalization을 적용하는 알고리즘의 흐름을 제시한다

실험 결과

연구 질문

• RQ1 Batch Renormalization이 소규모 또는 비-i.i.d. 미니배치에서 관찰된 Training과 Inference 활성화 간의 불일치를 감소시킬 수 있는가?
• RQ2 Batch Renormalization이 BN의 이점(학습 속도, 초기화에 대한 불민감)을 유지하면서 도전적인 미니배치 규칙에서의 성능을 개선하는가?
• RQ3 보정 한계(r_max, d_max)와 이동 평균 업데이트 속도(alpha)를 안정적인 학습에 대해 어떻게 스케줄링해야 하는가?
• RQ4 BN이 일반적으로 사용되는 아키텍처와 과제들(예: Inception/V3를 이용한 이미지 분류)에서도 Batch Renormalization이 효과적인가?

주요 결과

• Batch Renormalization은 ImageNet에서 Inception-v3를 사용할 때 미니배치 크기 32로 50명의 워커를 사용할 경우 Batch Normalization에 비해 동등하거나 다소 높은 검증 정확도를 달성한다(78.3% BN 기준 대 78.5% Renorm).
• 마이크로배치 4로 작은 미니배치를 사용했을 때, Batch Renorm은 BatchNorm보다 학습이 빠르고 정확도가 더 높다(130k 스텝에서 76.5% vs 210k 스텝의 74.2%).
• 레이블로 샘플링한 비-i.i.d. 미니배치에서 BatchNorm은 성능이 붕괴하는 반면 Batch Renorm은 기준선 비슷한 정확도(120k 스텝에서 78.5%)로 회복한다.
• Batch Renormalization은 BatchNorm에서 보이는 편향된 미니배치 분포에 의한 과적합을 제거한다(메트릭-러닝과 같은 미니배치 설정에서).
• 이 방법은 구현이 쉽고 BN과 유사한 속도로 실행되며, 학습 중 보정을 완화하는 스케줄과 함께 하이퍼파라미터(alpha, r_max, d_max)를 도입한다.