[논문 리뷰] Towards Effective Low-bitwidth Convolutional Neural Networks

Bohan Zhuang, Chunhua Shen외 3명|arXiv (Cornell University)|2017. 11. 01.

Advanced Neural Network Applications참고 문헌 33인용 수 22

한 줄 요약

이 논문은 4비트 가중치와 활성화를 모두 사용하는 저비트폭의 합성곱 신경망을 구현하기 위해 두 단계 최적화, 점진적 양자화, 및 전체 정밀도 모델과의 동시 학습이라는 세 가지 효과적인 학습 전략을 제안한다. 이 전략들은 저비트폭 모델이 전체 정밀도 모델과 동등하거나 이를 초월하는 정확도를 달성하도록 한다. 이러한 방법들은 학습 안정성과 수렴성을 크게 향상시키며, 저비트 정밀도에서 최신 기술 성능을 기록한다. ImageNet과 CIFAR-100에서 정확도 손실가 최소화된 상태로 성능을 달성한다.

ABSTRACT

This paper tackles the problem of training a deep convolutional neural network with both low-precision weights and low-bitwidth activations. Optimizing a low-precision network is very challenging since the training process can easily get trapped in a poor local minima, which results in substantial accuracy loss. To mitigate this problem, we propose three simple-yet-effective approaches to improve the network training. First, we propose to use a two-stage optimization strategy to progressively find good local minima. Specifically, we propose to first optimize a net with quantized weights and then quantized activations. This is in contrast to the traditional methods which optimize them simultaneously. Second, following a similar spirit of the first method, we propose another progressive optimization approach which progressively decreases the bit-width from high-precision to low-precision during the course of training. Third, we adopt a novel learning scheme to jointly train a full-precision model alongside the low-precision one. By doing so, the full-precision model provides hints to guide the low-precision model training. Extensive experiments on various datasets ( i.e., CIFAR-100 and ImageNet) show the effectiveness of the proposed methods. To highlight, using our methods to train a 4-bit precision network leads to no performance decrease in comparison with its full-precision counterpart with standard network architectures ( i.e., AlexNet and ResNet-50).

연구 동기 및 목표

• 저비트폭 가중치와 활성화를 동시에 사용하는 딥 CNN 학습의 과제를 해결하기 위해, 이는 흔히 나쁜 국소 최적화점과 심각한 정확도 저하를 초래한다.
• 구조적이고 점진적인 최적화 전략을 도입함으로써 저비트폭 네트워크의 학습 안정성과 수렴성을 향상시키기 위해.
• 전체 정밀도 모델의 지식을 활용하여 저비트폭 대응 모델의 학습을 안내함으로써 기울기 흐름과 모델 일반화를 향상시키기 위해.
• 다양한 네트워크 아키텍처(예: AlexNet 및 ResNet-50)에 효과적으로 적용 가능한 확장 가능한 종단 간 학습 방법을 개발하기 위해.

제안 방법

• 두 단계 최적화 전략을 제안한다: 먼저 가중치만 양자화된 네트워크를 학습한 후, 첫 번째 단계의 결과를 더 나은 초기화로 사용하여 활성화까지 양자화된 상태에서 미세조정한다.
• 점진적 양자화를 도입한다. 네트워크는 점차 감소하는 비트폭(예: 32비트 → 8비트 → 4비트 → 2비트)으로 학습되며, 이는 저비트폭 솔루션으로의 부드러운 수렴을 가능하게 한다.
• 저비트폭 네트워크와 전체 정밀도 대응 모델을 동시에 학습시키는 전략을 제안한다. 이는 상호 지식 정련과 개선된 기울기 신호를 가능하게 한다.
• 전체 정밀도 모델이 특징 또는 확률 정련을 통해 감독을 제공하는 새로운 유도 학습 기법을 사용한다. 이는 사전 학습 없이도 최적화를 향상시킨다.
• 직선 통과 추정기와 함께 표준 양자화 함수를 사용하지만, 제안된 점진적 및 동시 학습 메커니즘을 통해 학습 안정성을 향상시킨다.
• 층별 재학습 없이 표준 아키텍처(AlexNet, ResNet-50)에 종단 간으로 적용하여 깊은 네트워크로의 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 가중치를 먼저 양자화한 후 활성화까지 양자화하는 두 단계 학습 과정이 저비트폭 CNN의 수렴성과 정확도를 향상시키는가?
• RQ2 고정밀도에서 목표 저비트폭으로 점진적으로 비트폭을 감소시키는 학습 과정이 더 나은 최종 성능을 이끌어내는가?
• RQ3 저비트폭 네트워크와 전체 정밀도 대응 모델을 사전 학습 없이 동시에 학습시키는 것이 최적화와 일반화를 향상시키는가?
• RQ4 이러한 방법들은 ResNet-50와 같은 깊은 네트워크에서 기존 방법들과 비교해 확장성과 성능 면에서 어떻게 다른가?

주요 결과

• 제안된 두 단계 최적화를 사용한 ImageNet에서의 2비트 ResNet-50는 베이스라인보다 더 높은 검증 정확도를 달성했으며, 단계 1에서는 최소한의 손실이 발생했고, 단계 2에서는 항상 베이스라인을 초월했다.
• AlexNet에서 32비트에서 2비트로 점진적 양자화를 수행한 결과, 2비트 베이스라인 대비 상대적으로 1.5%의 정상 정확도 향상이 있었으며, 4비트에서 2비트로의 양자화 시에 심각한 성능 저하가 있었음에도 불구하고 성능 향상이 유지되었다.
• 유도 학습 전략은 설정에 관계없이 일관된 성능 향상을 보였으며, 전체 정밀도 모델 또한 동시 최적화에서 유의미한 이점을 얻었다.
• 점진적 양자화, 두 단계 학습, 유도 학습을 조합한(PQ+TS+Guided) 방법이 가장 뛰어난 성능을 보였으며, 개별 구성 요소를 모두 초월했다.
• ImageNet에서 제안된 방법으로 학습한 4비트 네트워크가 32비트 전체 정밀도 대응 모델보다 더 높은 상위 1위 정확도를 기록하여, 저비트 정밀도에서 최신 기술 성능을 입증했다.