[논문 리뷰] Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training

Ian Taras, Dylan Malone Stuart|arXiv (Cornell University)|2018. 01. 25.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 신경망 학습 중에 정밀도를 동적으로 조정하기 위해 정량화 오차를 피드백 메트릭으로 사용하는 동적 정밀도 스케일링(DPS) 알고리즘을 제안한다. 실시간 정량화 오차와 오버플로우 비율을 기반으로 스트로스틱 반올림과 함께 동적 비트 폭 조정을 통해, 32비트 부동소수점 학습과 유사한 성능을 달성하면서도 계산 비용을 크게 줄였다. MNIST에서 98.8%의 테스트 정확도를 달성했으며, 평균 가중치 정밀도는 16비트, 활성화 정밀도는 14비트를 사용하였다.

ABSTRACT

Recent work has explored reduced numerical precision for parameters, activations, and gradients during neural network training as a way to reduce the computational cost of training (Na & Mukhopadhyay, 2016) (Courbariaux et al., 2014). We present a novel dynamic precision scaling (DPS) scheme. Using stochastic fixed-point rounding, a quantization-error based scaling scheme, and dynamic bit-widths during training, we achieve 98.8% test accuracy on the MNIST dataset using an average bit-width of just 16 bits for weights and 14 bits for activations, compared to the standard 32-bit floating point values used in deep learning frameworks.

연구 동기 및 목표

• 모델 정확도를 훼손하지 않으면서 수치 정밀도를 최소화하여 딥러닝 학습의 계산 비용을 줄이는 것.
• 가중치, 활성화, 기울기의 정밀도를 낮출 경우 학습 안정성과 수렴성을 유지하는 데 도전하는 문제를 해결하는 것.
• 실시간 오차 메트릭을 기반으로 학습 중에 비트 폭을 동적으로 조정하는 전략을 개발하는 것.
• 정량화 오차가 고정점 표현의 분수 비트 폭을 동적으로 조정하는 데 신뢰할 수 있는 힌트로 사용될 수 있는지 평가하는 것.

제안 방법

• 해당 방법은 변수 정밀도 고정점 형식으로 부동소수점 값을 편향 없이 정량화하기 위해 스트로스틱 고정점 반올림을 사용한다.
• 학습 중에 반복 단위로 정수 길이(IL)와 분수 길이(FL)를 동적으로 조정한다.
• 오버플로우 비율이 임계값을 초과할 경우(R > R_max) IL을 증가시키며, 평균 정량화 오차가 임계값을 초과할 경우(E > E_max) FL을 증가시킨다.
• 정량화 오차는 백분율로 계산되며, E_% = |x_out - x_in| / |x_in| × 100으로 표현되며, FL 조정을 위한 피드백 신호로 사용된다.
• IL과 FL을 별도로 조정할 수 있는 동적 비트 폭 표현 방식을 도입하여, 고정된 총 비트 폭 설계에서 발생하는 상호 보완적 트레이드오프를 피한다.
• 전방 및 역방향 전파 중 동적 고정점 정량화를 시뮬레이션하기 위해 커스텀 Caffe 레이어를 사용하여 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 정량화 오차가 신경망 학습 중에 분수 비트 폭을 동적으로 조정하는 데 신뢰할 수 있는 메트릭으로 기능할 수 있는가?
• RQ2 정량화 오차와 오버플로우 비율을 기반으로 한 동적 정밀도 스케일링이 비트 폭을 줄이면서도 모델 정확도를 유지하는가?
• RQ3 동적 비트 폭 조정을 통한 정밀도 감소 학습이 MNIST와 같은 표준 벤치마크에서 수렴성과 높은 정확도를 달성할 수 있는가?
• RQ4 제안된 DPS 방법은 고정 정밀도 기준선 및 이전의 동적 스케일링 접근법과 비교해 정확도와 비트 폭 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 DPS 알고리즘은 평균적으로 16비트 가중치와 14비트 활성화를 사용하여 MNIST 데이터셋에서 98.8%의 테스트 정확도를 달성했으며, 이는 전부 32비트 부동소수점 학습과 동일한 성능을 보였다.
• 이 방법은 고정 13비트 정밀도 기준선이 수렴하지 못하는 것과는 달리, 학습의 안정성과 수렴성을 성공적으로 유지하였다.
• 가중치와 활성화의 평균 비트 폭이 표준 32비트 정밀도 대비 크게 감소했으며, 각각 16비트와 14비트로 줄어들었다.
• 기울기의 비트 폭은 높은 수준을 유지(약 32비트)하였는데, 이는 수렴을 위해 가장 높은 정밀도가 필요하기 때문이며, 네트워크 구성 요소 간 정밀도 요구 수준이 다름을 시사한다.
• DPS 하에서의 학습 손실는 전체 정밀도 기준선보다 略로 높았는데, 이는 정밀도 감소가 정규화 효과를 유도할 수 있음을 시사하지만, 더 큰 모델에서의 검증이 필요하다.