[논문 리뷰] BitPruning: Learning Bitlengths for Aggressive and Accurate Quantization

Miloš Nikolić, Ghouthi Boukli Hacene외 6명|arXiv (Cornell University)|2020. 02. 08.

Advanced Neural Network Applications참고 문헌 36인용 수 15

한 줄 요약

BitPruning는 훈련 중에 깊이 신경망의 각 레이어별 최적의 비트길이를 함께 학습할 수 있는 미분 가능 정규화 방법을 제안한다. 이로 인해 정확도 손실을 최소화하면서도 극단적인 양자화를 가능하게 한다. ImageNet에서 AlexNet, ResNet18, MobileNet V2에 각각 평균 비트길이 4.13, 3.76, 4.36비트를 달 đạt하면서, 전체 정밀도 기준선 대비 정확도 손실을 0.5%~2.0% 이내로 유지한다.

ABSTRACT

Neural networks have demonstrably achieved state-of-the art accuracy using low-bitlength integer quantization, yielding both execution time and energy benefits on existing hardware designs that support short bitlengths. However, the question of finding the minimum bitlength for a desired accuracy remains open. We introduce a training method for minimizing inference bitlength at any granularity while maintaining accuracy. Namely, we propose a regularizer that penalizes large bitlength representations throughout the architecture and show how it can be modified to minimize other quantifiable criteria, such as number of operations or memory footprint. We demonstrate that our method learns thrifty representations while maintaining accuracy. With ImageNet, the method produces an average per layer bitlength of 4.13, 3.76 and 4.36 bits on AlexNet, ResNet18 and MobileNet V2 respectively, remaining within 2.0%, 0.5% and 0.5% of the base TOP-1 accuracy.

연구 동기 및 목표

• 저정밀도 추론에서 모델 정확도를 유지하는 데 필요한 각 레이어별 최소 비트길이를 찾는 문제를 해결하기 위해.
• 고정되거나 수작업으로 조정된 비트맵 너비에 의존하는 대신, 레이어 간 이질적인 비트길이를 종단 간(end-to-end) 학습할 수 있도록 하기 위해.
• 비트길이 외에도 메모리 프로파일과 계산 작업량과 같은 정량적 기준을 유연한 정규화자를 통해 최소화하기 위해.
• 하드웨어 최적화된 데이터형과 일치하는 비트맵 너비를 학습함으로써 기존 및 전용 하드웨어에 효율적으로 배포할 수 있도록 하기 위해.
• 각 비트맵 너비 선택에 대해 재학습이 필요 없이 에너지 소비를 줄이고 추론 효율성을 향상시키기 위해.

제안 방법

• 모든 네트워크에서 큰 비트길이 표현을 방지하기 위해 비용을 부과하는 미분 가능한 정규화자가 도입되며, 이는 각 레이어에서 최소이면서도 정확한 비트맵 너비를 학습하도록 모델을 유도한다.
• 정규화자는 가중치가 부여되어 있으며, 비트길이, 메모리 프로파일, 또는 계산 연산을 최소화하는 데 우선순위를 둘 수 있다.
• 표준 역전파 동안 적용되므로, 가중치와 비트길이를 함께 최적화하는 종단 간 훈련이 가능하다.
• 비트길이는 직선 통과 추정기(straight-through estimator)를 통해 미분 가능해지며, 이로 인해 이산적 선택에도 불구하고 기울기 흐름이 유지된다.
• 이 방법은 레이어별, 커널별, 텐서별 등 임의의 해상도로 비트맵 너비 할당을 지원한다.
• 정규화자의 계수를 수정함으로써 다양한 하드웨어 제약 조건을 고려해 최적화할 수 있도록 방법을 적응시킬 수 있다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 정확도를 유지하면서 비트폭을 최소화하는 각 레이어별 비트길이를 학습할 수 있는가?
• RQ2 제안된 정규화자가 후기 훈련 또는 수작업으로 설정된 비트맵 너비 선택에 비해 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ3 이 방법을 메모리 프로파일이나 FLOPs와 같은 다른 하드웨어 인식 지표를 최소화하도록 확장할 수 있는가?
• RQ4 학습 비용과 추론 효율성 사이의 트레이드오프는 학습된 비트맵 너비를 사용할 경우 어떻게 되는가?
• RQ5 이 방법은 다양한 네트워크 아키텍처와 데이터셋에 일반화되는가?

주요 결과

• ImageNet에서 BitPruning는 AlexNet에 대해 평균 비트길이 4.13비트, ResNet18에 대해 3.76비트, MobileNet V2에 대해 4.36비트를 달달하며, 각각 전체 정밀도 기준선 대비 정확도 손실이 2.0%, 0.5%, 0.5% 이내이다.
• CIFAR-10에서 이 방법은 AlexNet과 ResNet18에 대해 각각 평균 비트길이 3.92비트와 2.17비트를 달달며, 기준선 대비 정확도 손실이 0.9% 이내이다.
• AlexNet과 ResNet18에 대해 CIFAR-10에서 메모리 프로파일을 10%~24% 감소시키고 계산 작업량을 4%~8% 감소시켜 효율성 향상을 입증한다.
• 학습 비용은 더 높으며, 기준선 대비 180에포크(2배)를 소요하고 기준선 정확도에 도달하기까지 4.6×~5.4× 더 많은 시간이 소요되지만, 이는 추론 성능 향상으로 인해 정당화된다.
• 이 방법은 첫 번째 및 마지막 레이어를 포함한 종단 간 양자화를 지원하여 아키텍처 수정 없이 전체 모델 양자화를 가능하게 한다.
• 정규화자는 재가중할 수 있어 메모리나 계산 최적화를 위해 조정 가능하므로 다양한 하드웨어 타겟에 적응 가능하다.