[논문 리뷰] Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers

Xishan Zhang, Shaoli Liu외 9명|arXiv (Cornell University)|2019. 11. 01.

Advanced Neural Network Applications참고 문헌 35인용 수 5

한 줄 요약

이 논문은 고정소수점 산술을 사용하여 딥 네ural 네트워크의 역전파를 양자화하는 적응형 정밀도 학습을 제안한다. 이는 각 레이어별로 정밀도를 동적으로 조절하여 정확도와 효율성을 균형 잡는다. 전체 정밀도 학습 대비 최대 4.5배의 속도 향상과 3.5배의 메모리 감소를 달성하며, 거의 최적의 모델 정확도를 확보한다.

ABSTRACT

Adaptive Precision Training: Quantify Back Propagation in Neural Networks with Fixed-point Numbers. Recent emerged quantization technique has been applied to inference of deep neural networks for fast and efficient execution. However, directly applying quantization in training can cause significant accuracy loss, thus remaining an open challenge.

연구 동기 및 목표

• 일般적으로 심한 정확도 저하를 유발하는, 딥 네럴 네트워크 학습에 양자화를 적용하는 데 도전하는 것.
• 기존의 양자화 방법이 추론 단계에만 집중하는 한계를 극복하기 위해, 역전파 단계에서도 양자화를 가능하게 하는 것.
• 학습 중 계산 및 메모리 비용을 줄이면서도 높은 모델 정확도를 유지하는 방법을 개발하는 것.
• 모델 성능을 희생시키지 않고 고정소수점 산술을 사용한 딥 네럴 네트워크의 효율적 학습을 가능하게 하는 것.

제안 방법

• 기울기 민감도와 활성화 통계에 기반해 각 레이어에 다른 정밀도 수준을 할당하는 동적 비트 폭 할당 전략을 도입한다.
• 고정소수점 산술을 사용해 역전파 과정을 양자화하여 부동소수점 연산을 정수 연산으로 대체함으로써 효율성을 향상시킨다.
• 저정밀도 계산 환경에서의 안정성을 확보하기 위해 기울기 클리핑 및 스케일링 기법을 적용한다.
• 역전파 중에 기울기가 양자화 연산을 통과할 수 있도록 유도 가능한 미분 가능한 양자화 함수를 사용한다.
• 양자화된 역전파를 표준 최적화 파이프라인에 통합하여 최소한의 아키텍처 변경으로 종단 간 학습을 가능하게 한다.
• 기울기 분산과 모델 정확도를 모니터링하는 손실 인식 적응 메커니즘을 사용해 학습 중 정밀도 스케줄을 최적화한다.

실험 결과

연구 질문

• RQ1 고정소수점 산술을 사용해 딥 네럴 네트워크의 역전파를 효과적으로 양자화할 수 있는가? 이 경우 심각한 정확도 손실 없이 수행 가능한가?
• RQ2 레이어 간 동적 비트 폭 할당이 모델 정확도와 학습 효율성에 어떤 영향을 미치는가?
• RQ3 종단 간 학습 중 정밀도 감소와 모델 성능 간의 상호 상충 관계는 어떠한가?
• RQ4 제안된 방법은 전체 정밀도 학습과 비교해 유사한 정확도를 달성하면서도 메모리 및 계산 비용을 줄일 수 있는가?

주요 결과

• 제안된 방법은 ResNet-50을 사용해 ImageNet에서 8비트 고정소수점 산술로 전체 정밀도 학습 대비 정확도의 0.5% 이내를 확보한다.
• GPU 플랫폼에서 산술 복잡도 감소와 메모리 대역폭 사용 감소로 인해 최대 4.5배의 학습 속도 향상을 달성했다.
• 양자화된 기울기와 활성화를 통해 전체 정밀도 학습 대비 학습 중 메모리 소비를 최대 3.5배 감소시켰다.
• 여러 모델과 데이터셋에서 정적 양자화 및 균일 비트 폭 접근 방식에 비해 적응형 정밀도 전략이 더 뛰어난 성능을 보였다.
• 다양한 학습 런에서 안정적인 수렴을 유지하여 양자화 노이즈에 대한 강건성을 입증했다.
• 스케일링 및 클리핑을 적용한 기울기 양자화가 가중치 갱신의 방향성과 크기를 유지해 최적화 이탈을 최소화했다.