[논문 리뷰] Rethinking "Batch" in BatchNorm

Yuxin Wu, Justin Johnson|arXiv (Cornell University)|2021. 05. 17.

Machine Learning and Algorithms참고 문헌 76인용 수 25

한 줄 요약

이 논문은 배치 정규화(BatchNorm)의 미묘한 함정을 검토하고, 배치의 개념을 재정의하는 것이(어떤 통계가 계산되는지) 비전 작업에서 특히 작은 정규화 배치 및 도메인 이동하에서 모델 성능을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

BatchNorm is a critical building block in modern convolutional neural networks. Its unique property of operating on "batches" instead of individual samples introduces significantly different behaviors from most other operations in deep learning. As a result, it leads to many hidden caveats that can negatively impact model's performance in subtle ways. This paper thoroughly reviews such problems in visual recognition tasks, and shows that a key to address them is to rethink different choices in the concept of "batch" in BatchNorm. By presenting these caveats and their mitigations, we hope this review can help researchers use BatchNorm more effectively.

연구 동기 및 목표

• BatchNorm을 시각 인식 태스크에 적용할 때의 숨겨진 함의를 식별한다.
• BatchNorm 배치의 다양한 선택이 학습, 추론 및 일반화에 어떤 영향을 미치는지 분석한다.
• 표준 EMA 기반 모집단 통계(PreciseBN) 및 배치 처리에 대한 대안을 제안하고 평가하여 불일치를 완화한다.

제안 방법

• BatchNorm이 학습 및 추론 중에 통계를 어떻게 계산하고 사용하는지 검토하고 분류한다.
• ResNet-50의 ImageNet에서 모집단 통계에 대해 EMA와 PreciseBN을 경험적으로 비교한다.
• 정규화 배치 크기를 변화시키고 학습 시 미니배치 대 모집단 통계의 사용 효과를 평가한다.
• 다른 도메인 간 입력과 다도메인 입력, 탐지 모델의 헤드(R-CNN 스타일)에서의 BatchNorm 동작을 조사한다.
• 추가로 학습-검증 불일치를 줄이는 전략을 탐구하고, 추론 시 미니배치 통계 및 학습 시 FrozenBN을 포함한다.

실험 결과

연구 질문

• RQ1 다양한 BatchNorm 배치 정의가 학습 및 추론 중 모델 성능에 어떤 영향을 미치는가?
• RQ2 모집단 통계의 EMA의 한계는 무엇이며 PreciseBN이 실제로 개선될 수 있는가?
• RQ3 정규화 배치 크기가 학습 노이즈, 일반화 및 학습-검증 일관성에 어떤 영향을 미치는가?
• RQ4 추론 시 미니배치 통계 또는 학습 시 FrozenBN이 도메인 관련 불일치를 줄일 수 있는가?
• RQ5 여러 도메인에서의 입력이나 탐지 헤드를 사용할 때 BatchNorm 선택은 어떻게 동작하는가?

주요 결과

• EMA는 특히 초기 학습 단계나 대배치 체제에서 모집단 통계를 부정확하게 추정할 수 있어 검증 성능이 불안정해질 수 있다.
• 같은 모델 상태에서 여러 미니배치를 모아 배치 통계를 집계하는 PreciseBN은 모집단 통계를 더 정확하게 산출하고 검증 결과를 더 안정적으로 만든다.
• 정규화 배치 크기를 증가시키면 학습 노이즈와 학습-검증 불일치가 줄어들지만, 매우 작은 정규화 배치는 성능을 해칠 수 있다. PreciseBN 또는 미니배치 추론 통계와 함께 이 격차를 완화할 수 있다.
• 추론 시 미니배치 통계를 사용하면 학습-검증 불일치를 줄이고 작은 정규화 배치를 가진 시나리오(R-CNN 헤드나 작은 배치 설정)에서 성능을 높일 수 있다.
• FrozenBN(학습 중 모집단 통계 고정)은 학습-검증 불일치를 줄이고 전이 학습 맥락에서 효과적일 수 있지만, 큰 정규화 배치에서는 성능이 떨어질 수 있다.