[논문 리뷰] Deep Learning with Low Precision by Half-wave Gaussian Quantization

Zhaowei Cai, Xiaodong He외 2명|arXiv (Cornell University)|2017. 02. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 49인용 수 66

한 줄 요약

이 논문은 forward 활성화 양자화와 적합한 역방향 근사화를 위한 Half-wave Gaussian Quantizer(HWGQ)를 제시하여 1-비트 가중치와 2-비트 활성화(HWGQ-Net)가 여러 아키텍처에서 전체 정밀도 네트워크에 가깝게 대응하도록 한다.

ABSTRACT

The problem of quantizing the activations of a deep neural network is considered. An examination of the popular binary quantization approach shows that this consists of approximating a classical non-linearity, the hyperbolic tangent, by two functions: a piecewise constant sign function, which is used in feedforward network computations, and a piecewise linear hard tanh function, used in the backpropagation step during network learning. The problem of approximating the ReLU non-linearity, widely used in the recent deep learning literature, is then considered. An half-wave Gaussian quantizer (HWGQ) is proposed for forward approximation and shown to have efficient implementation, by exploiting the statistics of of network activations and batch normalization operations commonly used in the literature. To overcome the problem of gradient mismatch, due to the use of different forward and backward approximations, several piece-wise backward approximators are then investigated. The implementation of the resulting quantized network, denoted as HWGQ-Net, is shown to achieve much closer performance to full precision networks, such as AlexNet, ResNet, GoogLeNet and VGG-Net, than previously available low-precision networks, with 1-bit binary weights and 2-bit quantized activations.

연구 동기 및 목표

• 효율적인 딥 네트워크를 위한 활성화 양자화를 동기 부여하고 비미분 양자화기로 인한 학습의 그래디언트 불일치를 다룬다.
• 활성화를 효율적으로 양자화하기 위해 활성화 통계 및 배치 정규화를 활용하는 forward HWGQ를 제안한다.
• 저해상도 제약 하에서 학습의 안정화를 돕기 위한 대응하는 역방향 근사들을 개발한다.
• HWGQ-Net를 대규모 데이터셋과 널리 사용되는 아키텍처에서 평가하여 상당한 효율성 증가에도 불구하고 경쟁력 있는 정확도를 보여준다.

제안 방법

• ReLU 활성화를 이산화하는 forward half-wave Gaussian quantizer HWGQ로 활성화를 모델링한다.
• 배치 정규화를 사용하여 활성화 분포를 안정화하고 계층 간 단일 HWGQ 설계를 가능하게 한다.
• 역전파 시 그래디언트 불일치를 완화하기 위해 부분적으로 설계된 역방향 근사들(바닐라 ReLU, 클리프 ReLU, 로그 꼬리 ReLU)을 사용한다.
• Forward HWGQ를 이진 부호 양자화와 비교하고 역방향 근사들이 학습 안정성에 미치는 영향을 분석한다.
• AlexNet, ResNet, VGG-Variant, GoogLeNet을 포함한 ImageNet에서 1-비트 가중치와 2-비트 활성화를 갖는 네트워크(HWGQ-Net)를 평가한다.

실험 결과

연구 질문

• RQ1 HWGQ가 전체 정밀도 네트워크에 비해 최소한의 정확도 손실로도 효율적인 forward 활성화 양자화를 제공할 수 있는가?
• RQ2 forward 양자화와 backward 근사의 그래디언트 불일치가 학습에 어떤 영향을 미치며, 맞춤형 역방향 함수가 학습을 안정시키는가?
• RQ3 활성화 양자화의 비트 폭 및 forward/backward 설계가 대중적인 아키텍처(AlexNet, ResNet, VGG, GoogLeNet)에서 대규모 데이터셋에 어떤 영향을 미치는가?
• RQ4 1-비트 가중치와 저비트 활성화를 가진 HWGQ-Net가 여러 아키텍처에서 전체 정밀도 모델에 근접한 실용적 정확도를 달성하는가?

주요 결과

• HWGQ-Net은 1-비트 가중치와 2-비트 활성화로 AlexNet, ResNet, VGG-Variant, GoogLeNet에서 이전의 저해상도 모형들보다 전체 정밀도 네트워크에 훨씬 근접한 성능을 달성한다.
• Forward HWGQ는 활성화 통계(배치 정규화 후 근사정규분포에 가까움)를 활용해 양자화 매개변수를 고정하고 층 간 단일 양자화기를 가능하게 한다.
• 클리프 ReLU와 로그 꼬리 ReLU와 같은 역방향 근사들이 바닐라 ReLU에 비해 학습 안정성과 최종 정확도를 크게 향상시킨다.
• 이전의 저정밀 방법과 비교할 때 HWGQ-Net은 상위 1위/상위 5위 정확도에서도 경쟁력이 있으며 메모리 및 계산 효율에서 상당한 이점을 제공한다(논문은 HWGQ-Net에 대해 약 32배의 메모리 및 컨볼루션 계산 절감 효과를 언급한다).
• HWGQ의 균일 양자화와 비균일 양자화는 같은 비트폭에서 비슷한 성능을 보여주며, 활성화 양자화 레벨을 늘리면 일부 네트워크(예: AlexNet)에서는 수익이 점차 감소하지만 더 깊은 아키텍처(예: ResNet-18)에서는 더 큰 이득을 얻는다.