[논문 리뷰] A streamlined AlexNet with 1-bit weights, 2-bit activations

Yaman Umuroglu|arXiv (Cornell University)|2017. 09. 01.

Advanced Neural Network Applications참고 문헌 7인용 수 27

한 줄 요약

이 논문은 유량 정밀도 양자화 신경망(QNNs)을 모바일 CPU에서 효율적으로 배포하기 위한 간소화된 프레임워크를 제안한다. 부동소수점 연산을 정수 연산으로 변환하고, 비트-연속 행렬 곱셈(bit-serial matrix multiplication)을 사용하며, 채널 간섭 내림내림(channel-interleaved lowering)을 적용하여, 1비트 가중치와 2비트 활성화를 가진 양자화된 AlexNet에서 최적화된 8비트 기준 대비 3.5배의 성능 향상을 달성한다.

ABSTRACT

Running Deep Neural Network (DNN) models on devices with limited computational capability is a challenge due to large compute and memory requirements. Quantized Neural Networks (QNNs) have emerged as a potential solution to this problem, promising to offer most of the DNN accuracy benefits with much lower computational cost. However, harvesting these benefits on existing mobile CPUs is a challenge since operations on highly quantized datatypes are not natively supported in most instruction set architectures (ISAs). In this work, we first describe a streamlining flow to convert all QNN inference operations to integer ones. Afterwards, we provide techniques based on processing one bit position at a time (bit-serial) to show how QNNs can be efficiently deployed using common bitwise operations. We demonstrate the potential of QNNs on mobile CPUs with microbenchmarks and on a quantized AlexNet, which is 3.5x faster than an optimized 8-bit baseline. Our bit-serial matrix multiplication library is available on GitHub at https://git.io/vhshn

연구 동기 및 목표

• 소수의 비트 정수 연산을 지원하는 기능이 제한된 모바일 CPU에서 낮은 정밀도 양자화 신경망(QNNs)을 효율적으로 배포하는 데 도전 과제를 해결한다.
• 기본 명령어 집합(ISA)에서 1~4비트 정수 산술 연산에 대한 네이티브 지원 부족, 비효율적인 비트 마스킹, 부동소수점 연산으로 인한 성능 저하를 해결한다.
• 최소한의 정확도 손실로 QNN를 완전히 정수 기반 계산으로 변환함으로써 모바일 기기에서 고성능 추론을 가능하게 한다.
• 비트-연속 및 간섭 내림내림 최적화 기법을 적용하여 실제 모델인 AlexNet과 같은 모델에서 뚜렷한 성능 향상을 입증한다.

제안 방법

• 배치 정규화 및 알파 스케일링에서 유래한 부동소수점 스케일링 인자를 정수 임계값으로 통합하여 추론 중 부동소수점 연산을 제거함으로써 QNN를 간소화한다.
• 비트-연속 GEMM(일반 행렬 곱셈) 라이브러리를 구현하여 비트 평면을 하나씩 처리하고, 비트 연산(AND, 시프트, OR)을 사용해 1비트 가중치와 2비트 활성화를 효율적으로 처리한다.
• 다중 채널을 하나의 워드에 압축하여 패킹하는 채널 간섭 내림내림 기법을 적용함으로써 비트 패킹 오버헤드를 감소시키고, 데이터 국소성과 메모리 접근 패턴을 향상시킨다.
• 최적화된 추론 엔진을 Caffe 기반 프레임워크에 통합하여, 각 레이어에서 gemmlowp(8비트 레이어용)와 BitSerialGEMM(1비트/2비트 레이어용)를 선택적으로 사용할 수 있도록 한다.
• 하이브리드 실행 전략을 사용: 8비트 레이어는 정확도를 위해 gemmlowp를 사용하고, 1비트/2비트 레이어는 속도를 위해 BitSerialGEMM를 사용하며, 부동소수점 연산은 행렬 외 연산에만 사용한다.
• 비트 평면의 재정렬 및 패킹을 통해 메모리 접근과 계산을 최적화하여 병렬성을 극대화하고 비트 수준의 마스킹 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 임계값 기반 간소화 기법을 통해 QNN의 부동소수점 연산을 완전히 제거할 수 있으며, 정확도 손실이 크지 않은가?
• RQ2 비트 연속 행렬 곱셈을 비트 연산만으로 사용할 경우, 일반 모바일 CPU에서 1비트 가중치와 2비트 활성화에 대해 얼마나 효과적인가?
• RQ3 채널 간섭 내림내림 기법이 비트 패킹 오버헤드를 얼마나 줄이고, 저정밀도 추론에서 성능 향상에 기여하는가?
• RQ4 제안된 최적화 스택을 사용해 1비트/2비트 QNN를 배포할 경우, 실제 모델인 AlexNet에서 어떤 성능 향상을 기대할 수 있는가?
• RQ5 간소화, 비트-연속 GEMM, 간섭 내림내림의 조합이 모바일 CPU에서 표준 8비트 추론을 능가할 수 있는가?

주요 결과

• 제안된 BitSerialGEMM 라이브러리는 1비트 가중치와 2비트 활성화를 가진 양자화된 AlexNet에서 최적화된 8비트 기준 대비 3.5배의 성능 향상을 달성한다.
• 완전히 양자화된 1비트/2비트 완전 연결 레이어는 더 높은 산술 집약성과 효율적인 비트-연속 계산 덕분에 최대 50배의 성능 향상을 기록한다.
• 합성곱 레이어에서 비트-연속 행렬 곱셈은 기준 8비트 추론 대비 4배의 성능 향상을 제공하며, 내림내림 오버헤드로 인해 성능이 제한된다.
• 채널 간섭 내림내림은 표준 내림내림 대비 내림내림 시간을 최대 10배 감소시켜, 큰 필터를 가진 초기 레이어에서 성능 향상에 크게 기여한다.
• 최적화된 파이프라인에서 8비트 첫 번째 및 마지막 레이어가 실행 시간의 33%를 차지하며, 이 레이어의 추가 양자화로 추가 성능 향상을 기대할 수 있음을 시사한다.
• 전체 최적화 스택을 적용한 결과, 추론 처리량은 기준 대비 2.2에서 7.7 프레임/초로 향상되어 실제 성능 향상이 뚜렷하게 입증되었다.