[논문 리뷰] How Does Batch Normalization Help Binary Training?

Eyyüb Sari, Mouloud Belbahri외 1명|arXiv (Cornell University)|2019. 09. 18.

Advanced Neural Network Applications참고 문헌 11인용 수 26

한 줄 요약

이 논문은 배치 정규화(BatchNorm)가 이진 신경망(BNN) 학습에 필수적임을 보여주며, 주로 기울기 폭주를 방지하기 때문이며, 활성화 정규화나 공변수 이동 감소와는 다릅니다. 기존의 글로로트 초기화는 BNN에 효과가 없으며, 수렴을 위해 오직 배치 기반 평균 중심화와 고정된 스케일링 인자 $1/\sqrt{K_{l-1}}$만 필요하다는 것을 보여주며, 이는 엣지 디바이스에서의 효율적 구현을 가능하게 합니다.

ABSTRACT

Binary Neural Networks (BNNs) are difficult to train, and suffer from drop of accuracy. It appears in practice that BNNs fail to train in the absence of Batch Normalization (BatchNorm) layer. We find the main role of BatchNorm is to avoid exploding gradients in the case of BNNs. This finding suggests that the common initialization methods developed for full-precision networks are irrelevant to BNNs. We build a theoretical study on the role of BatchNorm in binary training, backed up by numerical experiments.

연구 동기 및 목표

• 배치 정규화가 성공적인 이진 신경망(BNN) 학습에 필수적인 이유를 조사하는 것.
• BNN에 대해 글로로트 스타일의 가중치 초기화가 효과가 있다는 가정을 도전하는 것.
• BNN 수렴에 있어 배치 정규화의 어떤 구성 요소가 필수적인지 규명하는 것.
• BNN의 엣지 디바이스 학습을 위한 경량 대체 기법을 제안하는 것.
• 배치 정규화 없이 기울기 폭주가 BNN 학습 실패의 주요 원인임을 검증하는 것.

제안 방법

• 동일분포(i.i.d.) 가중치 및 활성화 가정 하에 BNN의 기울기 흐름에 대한 이론적 분석을 통해 잠재 가중치의 분산이 기울기 분산을 제어하지 못함을 보임.
• 배치 정규화의 기울기 업데이트 규칙 유도를 통해 스케일링($\gamma_k$)과 오프셋($\beta_k$) 파rameter가 기울기 안정성에 미치는 역할를 분리 분석함.
• 배치 정규화를 다음과 같이 대체한 아블레이션 스터디를 수행: (1) 배치 평균 중심화만, (2) 고정 스케일링 $1/\sqrt{K_{l-1}}$, (3) 정규화 없음.
• 다양한 초기화 분산과 배치 정규화 구성 요소를 활용한 VGG, ResNet-56, MobileNet-v1을 사용한 CIFAR-10에서의 실증적 평가.
• BNN에서 부호 함수를 통한 역전파에 클리핑된 스트레이트스러우 에스티메이터(clippped straight-through estimator) 사용.
• 다양한 초기화 분산과 배치 정규화 구성 요소 아블레이션에 따른 정확도 간 체계적 비교.

실험 결과

연구 질문

• RQ1 많은 전밀도 모델에서 볼 수 없지만, 왜 BNN 학습에 배치 정규화가 필수적인가?
• RQ2 이산적인 가중치와 활성화 제약이 있는 BNN에 대해 글로로트 초기화가 여전히 효과적인가?
• RQ3 배치 정규화의 구성 요소 중 스케일링, 오프셋, 중심화 중 어떤 것이 BNN에서 기울기 폭주를 방지하는 데 필수적인가?
• RQ4 고정된, 학습 가능한 스케일링 인자로 배치 정규화를 대체할 수 있는가? 이 경우 정확도 손실이 크지 않은가?
• RQ5 가중치 초기화 분산이 BNN 학습 동역학과 최종 정확도에 어떤 영향을 미치는가?

주요 결과

• 배치 정규화는 BNN에서 기울기 폭주를 방지함으로써 학습에 필수적이며, 이 기능은 전밀도 네트워크에서의 기능과 다릅니다.
• 글로로트 초기화는 BNN에 효과가 없으며, 잠재 가중치의 분산이 기울기 분산에 영향을 주지 않기 때문에 분산 제어 기반 초기화 기법은 무의미합니다.
• 안정적인 학습을 위해 오직 배치 기반 평균 중심화만 필요하며, 학습 가능한 스케일링 파rameter $\gamma_k$는 $1/\sqrt{K_{l-1}}$로 고정해도 정확도 손실이 크지 않습니다.
• 배치 정규화를 고정 중심화와 스케일링 $1/\sqrt{K_{l-1}}$로 대체하면 ResNet-56에서 87.9%의 상위-1 정확도를 달성하며, 배치 정규화의 88.8%에 근접합니다. 반면 두 구성 요소를 모두 제거하면 정확도는 31.7%로 급격히 떨어집니다.
• 아블레이션 스터디는 배치 정규화 또는 적절한 스케일링이 없는 네트워크가 기울기 폭주로 인해 수렴하지 못함을 확인하여 이론적 분석을 뒷받침합니다.
• 고정 스케일링과 전체 배치 정규화 간 정확도 격차는 스케일 인자를 조정함으로써(예: $1/\sqrt{3K_{l-1}}$) 메워질 수 있으며, 이는 엣지 디바이스에 대한 실용적 대체 기법임을 시사합니다.