[논문 리뷰] Batch Normalization in Quantized Networks.

Eyyüb Sari, Vahid Partovi Nia|arXiv (Cornell University)|2020. 04. 01.

Model Reduction and Neural Networks인용 수 1

한 줄 요약

이 논문은 양자화된 신경망에서 배치 정규화(BatchNorm)의 역할을 조사하며, 훈련 중 기울기 폭발을 방지한다는 점에서 기대에 어긋나지만 핵심적인 메커니즘이라는 것을 입증한다. 저자들은 배치 정규화가 저정밀도 환경에서 훈련을 안정화시켜, 이 분야에서 이전에 이해되지 않았던 바에도 효과적인 양자화된 네트워크 최적화를 가능하게 한다.

ABSTRACT

Implementation of quantized neural networks on computing hardware leads to considerable speed up and memory saving. However, quantized deep networks are difficult to train and batch~normalization (BatchNorm) layer plays an important role in training full-precision and quantized networks. Most studies on BatchNorm are focused on full-precision networks, and there is little research in understanding BatchNorm affect in quantized training which we address here. We show BatchNorm avoids gradient explosion which is counter-intuitive and recently observed in numerical experiments by other researchers.

연구 동기 및 목표

• 양자화된 신경망 훈련에서 배치 정규화(BatchNorm)의 역할을 이해하기 위해, 이는 전체 정밀도 설정에서의 행동과는 달리 이해가 더 적은 분야이다.
• 저정밀도 환경에서 이론적 근거가 부족한 상황에서도 양자화된 네트워크의 성공적인 훈련을 위해 배치 정규화가 필수적인 이유를 조사한다.
• 최근 관측되었지만 아직 설명되지 않은 현상인, 양자화된 훈련 중 기울기 폭발을 방지하는 데 배치 정규화가 작용하는 메커니즘을 분석한다.
• 양자화된 네트워크에서 최적화 안정성에 대한 배치 정규화의 영향에 대한 경험적 및 분석적 통찰을 제공한다.

제안 방법

• 저자들은 다양한 양자화된 네트워크 아키텍처에서 광범위한 경험적 분석을 수행하여, 배치 정규화 유무에 따른 훈련 동역학을 관찰한다.
• 양자화된 모델에서 역전파 동안 배치 통계와 기울기 크기를 분석하여 불안정성 패턴을 규명한다.
• 다양한 양자화 수준과 네트워크 깊이에서 훈련 행동을 비교하여, 배치 정규화의 안정화 효과를 고립한다.
• 양자화된 네트워크에서 기울기 흐름과 배치 통계를 분석하여, 배치 정규화가 기울기 폭발을 억제함을 보여준다.
• 수치 실험과 아블레이션 연구에 기반하여, 저정밀도 제약 조건 하에서도 훈련 안정성을 유지하는 데 배치 정규화의 역할을 검증한다.

실험 결과

연구 질문

• RQ1 저정밀도 설정에서 이론적 이해가 제한된 상황에서도 양자화된 신경망 훈련에 있어 배치 정규화가 필수적인 이유는 무엇인가?
• RQ2 양자화된 네트워크 훈련 중 기울기 폭발을 방지하는 데 배치 정규화는 어떻게 작용하는가?
• RQ3 양자화된 네트워크에서 최적화 안정성을 유지하는 데 배치 정규화의 메커니즘은 전체 정밀도 대비와 어떻게 다를까?
• RQ4 배치 정규화의 효과성이 양자화 비트 폭이나 네트워크 깊이에 따라 달라지는가?
• RQ5 양자화된 네트워크에서 기울기 폭발은 배치 통계나 활성화 스케일링 탓인가? 그리고 배치 정규화는 이를 어떻게 완화하는가?

주요 결과

• 배치 정규화는 양자화된 신경망 훈련 중 기울기 폭발을 효과적으로 방지한다. 이는 기대에 어긋나며 이전에 설명되지 않은 현상이다.
• 양자화된 네트워크에서 배치 정규화의 안정화 효과는 배치 통계의 정규화를 통해 기울기 크기를 제어할 수 있다는 능력에 기인한다.
• 경험적 결과에 따르면, 배치 정규화를 제거하면 저정밀도 모델에서 심각한 기울기 폭발이 발생하여 수렴이 중단된다.
• 배치 정규화가 존재할 경우, 기울기 불안정성이 지배적인 저비트 폭에서조차도 양자화된 네트워크의 성공적인 훈련이 가능해진다.
• 양자화된 훈련에서 배치 정규화의 역할은 단순한 정규화 기법을 넘어서, 특히 저정밀도 환경에서 기울기 안정성에 핵심적인 구성 요소이다.