[논문 리뷰] Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics

Stone Yun, Alexander Wong|arXiv (Cornell University)|2021. 04. 24.

Advanced Neural Network Applications참고 문헌 27인용 수 5

한 줄 요약

이 논문은 MobileNet을 포함한 깊이 분리형 합성곱 신경망(DWSCNNs)이 추론 후 양자화에서 심각한 정확도 저하를 겪는 이유를 조사한다. 다중 척도 분포 역학에 대한 세밀한 분석을 통해, 채널별 및 레이어별 분포 간의 분포 불일치와 변동하는 동적 범위가 과도한 양자화 오차 축적을 유도함으로써, 일반 CNNs에 비해 DWSCNNs의 열악한 양자화 성능을 설명한다.

ABSTRACT

As the "Mobile AI" revolution continues to grow, so does the need to understand the behaviour of edge-deployed deep neural networks. In particular, MobileNets are the go-to family of deep convolutional neural networks (CNN) for mobile. However, they often have significant accuracy degradation under post-training quantization. While studies have introduced quantization-aware training and other methods to tackle this challenge, there is limited understanding into why MobileNets (and potentially depthwise-separable CNNs (DWSCNN) in general) quantize so poorly compared to other CNN architectures. Motivated to gain deeper insights into this phenomenon, we take a different strategy and study the multi-scale distributional dynamics of MobileNet-V1, a set of smaller DWSCNNs, and regular CNNs. Specifically, we investigate the impact of quantization on the weight and activation distributional dynamics as information propagates from layer to layer, as well as overall changes in distributional dynamics at the network level. This fine-grained analysis revealed significant dynamic range fluctuations and a "distributional mismatch" between channelwise and layerwise distributions in DWSCNNs that lead to increasing quantized degradation and distributional shift during information propagation. Furthermore, analysis of the activation quantization errors show that there is greater quantization error accumulation in DWSCNN compared to regular CNNs. The hope is that such insights can lead to innovative strategies for reducing such distributional dynamics changes and improve post-training quantization for mobile.

연구 동기 및 목표

• MobileNet과 기타 DWSCNNs가 추론 후 양자화에서 심각한 정확도 저하를 보이는 이유를 이해하는 것.
• 이 열악한 양자화 행동이 깊이 분리형 합성곱에 내재된 것인지, 또는 MobileNet 아키텍처 설계 선택에 기인한 것인지 조사하는 것.
• 양자화 저하에 있어 레이어 간 다중 척도 분포 역학—특히 가중치 및 활성화 분포의 역할을 분석하는 것.
• DWSCNNs와 일반 CNNs 간의 양자화 오차 축적 및 분포 이동을 비교하는 것.
• 엣지에 배포된 모델에서 추론 후 양자화의 강건성을 향상시키기 위한 통찰을 제공하는 것.

제안 방법

• MobileNet-V1과 일련의 더 작은 DWSCNNs(DWS-ConvNets)를 대상으로 체계적인 아블레이션 연구를 수행하였으며, 일반 CNNs와 비교하였다.
• 양자화 영향을 고립시키기 위해 CIFAR-10 및 ImageNet에서 일관된 훈련 절차를 사용해 모델을 훈련시켰다.
• 양자화 이전 및 이후의 가중치 및 활성화 분포에 대한 레이어별 분석을 수행하였으며, 동적 범위 변동과 분포 불일치에 집중하였다.
• 추론 중 레이어 간에 QMSE, QCE, QKL-Divergence를 사용해 양자화 오차 축적을 정량화하였다.
• 분포 역학을 평가하기 위해 배치 정규화(BN)를 접목한 가중치 및 활성화를 분석하였다.
• 통계적 신뢰성을 확보하기 위해 2000장의 이미지 기록 및 여러 양자화 시도를 실시하였다.

Figure 1: Layerwise average precison (see Eq. 2 ) of trained weights in the DWS-Convnets. Low average precision at depthwise-conv layers indicate a mismatch between each individual channel’s dynamic range and the entire tensor’s range. The resulting distributional dynamics lead to significantly high

실험 결과

연구 질문

• RQ1 왜 MobileNet과 같은 DWSCNNs는 일반 CNNs에 비해 추론 후 양자화에서 더 심각한 정확도 저하를 겪는가?
• RQ2 MobileNet의 열악한 양자화 성능은 깊이 분리형 합성곱에 내재된 것인가, 아니면 아키텍처 설계 선택에 기인한 것인가?
• RQ3 채널별 및 레이어별 분포 간의 동적 범위 변동과 분포 불일치는 DWSCNNs에서 양자화 오차 축적에 어떻게 영향을 미치는가?
• RQ4 양자화 중 전방향 전파 시 DWSCNNs와 일반 CNNs 간에 양자화 오차 지표(QMSE, QCE, QKL-Div)의 정도는 어느 정도 다른가?
• RQ5 다중 척도 분포 역학은 관측된 분포 이동과 오차 전파를 설명할 수 있는가?

주요 결과

• DWSCNNs는 특히 깊이 분리형 합성곱 레이어에서 일반 CNNs에 비해 레이어 간에 훨씬 더 큰 동적 범위 변동을 보인다.
• DWSCNNs에서는 채널별 및 레이어별 분포 간에 뚜렷한 분포 불일치가 존재하여, 양자화 오차 축적이 증가한다.
• ImageNet에서 훈련된 MobileNet-V1은 추론 후 양자화에서 15.6%의 치명적인 정확도 저하를 보이며, QMSE 및 QKL-Div 값이 VGG-19보다 훨씬 높다.
• DWSCNNs에서는 레이어별 QMSE, QCE, QKL-Div 값이 일반 CNNs보다 항상 높게 나타나, 더 큰 양자화 오차 축적과 분포 이동을 시사한다.
• DWSCNNs에서는 무작위 가중치 초기화에 더 민감하게 양자화 행동의 변동성이 나타나, 학습된 분포의 불안정성을 시사한다.
• 결과는 채널별 양자화 및 분포 불일치를 줄이는 방법이 DWSCNNs에서의 양자화 강건성을 크게 향상시킬 수 있음을 시사한다.

Figure 2: Comparing layerwise QMSE of Regular-ConvNets (left), DWS-ConvNets (center), and MobileNets-V1 (right). We are able to see how depthwise separable convolutional networks accumulate much more QMSE on average when traversing through a quantized DWSCNN. Note : Some outliers were removed from t