[논문 리뷰] Training Deep Neural Network in Limited Precision

Hyunsun Park, Jun Haeng Lee외 3명|arXiv (Cornell University)|2018. 10. 12.

Advanced Neural Network Applications참고 문헌 28인용 수 4

한 줄 요약

이 논문은 Kahan 합산을 사용한 레이지 업데이트 메커니즘을 제안하여, 보조 누적기에서 작은 기울기를 누적시켜 정밀도 손실을 방지함으로써 저정밀도(예: INT8) 환경에서도 안정적인 딥 네트워크 학습을 가능하게 한다. 또한 소프트맥스 이전의 최종 완전히 연결된 레이어에 대한 비트 폭 지침을 도입한다. 이 방법은 8비트 가중치와 16비트 활성화, 기울기, 최적화기만을 사용하여 CIFAR-10, ImageNet, GAN, LSTM 작업에서 전정밀도 학습 정확도를 달성한다.

ABSTRACT

Energy and resource efficient training of DNNs will greatly extend the applications of deep learning. However, there are three major obstacles which mandate accurate calculation in high precision. In this paper, we tackle two of them related to the loss of gradients during parameter update and backpropagation through a softmax nonlinearity layer in low precision training. We implemented SGD with Kahan summation by employing an additional parameter to virtually extend the bit-width of the parameters for a reliable parameter update. We also proposed a simple guideline to help select the appropriate bit-width for the last FC layer followed by a softmax nonlinearity layer. It determines the lower bound of the required bit-width based on the class size of the dataset. Extensive experiments on various network architectures and benchmarks verifies the effectiveness of the proposed technique for low precision training.

연구 동기 및 목표

• 낮은 정밀도 DNN 학습에서 기울기 정밀도가 부족해 발생하는 불안정한 파라미터 업데이트 문제를 해결한다.
• 낮은 정밀도 계산에서 소프트맥스 비선형성에 의해 유도되는 수치적 불안정성을 완화한다.
• 혼합 정밀도나 전용 하드웨어 없이도 저정밀도 하드웨어(예: 8비트)만을 사용하여 전정밀도 학습 정확도를 달성한다.
• 데이터셋 클래스 수에 기반하여 최종 완전히 연결된 레이어의 최소 비트 폭을 선택하는 실용적인 지침을 제공한다.
• 다양한 아키텍처와 벤치마크에서 정확도 저하 없이 종단 간 저정밀도 학습을 입증한다.

제안 방법

• 소규모 기울기를 다수 스텝에 걸쳐 누적하기 위해 보조 누적기 도입으로 확률적 경사 하강법(SGD)에 Kahan 합산을 적용한다.
• 누적된 기울기 값이 목표 정밀도(예: 8비트) 내에서 파라미터에 영향을 줄 정도로 충분히 클 경우에만 메인 네트워크 파라미터를 업데이트함으로써 정밀도 손실을 줄인다.
• 8비트 가중치와 16비트 누적기로 구성된 동적 고정점 수치 체계를 사용하여 파라미터의 효과적 비트 폭을 가상으로 연장한다.
• 최종 소프트맥스 이전의 완전히 연결된 레이어를 포함한 모든 레이어의 가중치 및 편향 업데이트에 레이지 업데이트 메커니즘을 적용한다.
• 비트 폭 지침을 제안한다: 최종 FC 레이어는 정확도 저하를 방지하기 위해 클래스 수 C에 대해 최소 log₂(C) 비트를 가져야 한다.
• 특수 하드웨어나 확률적 양자화 없이도 단순한 8비트 고정점 가속기에서 이 방법을 구현한다.

실험 결과

연구 질문

• RQ1 표준 정수 산술만을 사용하고 고정밀도 하드웨어 없이 저정밀도 DNN 학습에서 안정적인 파라미터 업데이트를 달성할 수 있는가?
• RQ2 저정밀도 학습에서 소프트맥스 비선형성에 의해 발생하는 수치적 불안정성은 어떻게 완화할 수 있는가?
• RQ3 소프트맥스 이전의 최종 완전히 연결된 레이어에 대해 정확도 유지가 가능한 최소 비트 폭은 얼마인가?
• RQ4 8비트 가중치와 16비트 활성화, 기울기를 사용하여 다양한 아키텍처(CNN, GAN, LSTM)와 벤치마크(CIFAR-10, ImageNet, TIDIGITS)에서 전정밀도 정확도를 달성할 수 있는가?
• RQ5 제안된 레이지 업데이트 메커니즘이 수렴성과 최종 정확도 측면에서 표준 저정밀도 학습보다 우수한가?

주요 결과

• Kahan 합산 기반 레이지 업데이트를 통해 CIFAR-10에서 93.4% 테스트 정확도를 달성하며, INT8 가중치와 INT16 활성화, 기울기, 최적화기를 사용한 8비트 정밀도에서도 전정밀도 정확도를 확보하였다.
• ImageNet에서는 8비트 가중치와 16비트 활성화, 기울기, 최적화기를 사용하여 75.3%의 Top-1 정확도를 달성하였으며, 전정밀도 학습과 유사한 성능을 보였다.
• GAN의 경우, INT8 가중치와 나머지 텐서 전부에 대해 INT16를 사용하여 고해상도 64×64 얼굴 및 침실 이미지를 성공적으로 생성하였고, 눈에 띄는 정확도 저하 없이 고품질 결과를 도출하였다.
• TIDIGITS 데이터셋에서 레이지 업데이트를 적용한 INT8 LSTM 학습은 검증 정확도 97.41%를 달성하였으며, 이는 기존 방법을 사용할 경우 75.21%에서 개선된 결과이며, FP32 학습의 97.62%와 유사한 성능을 보였다.
• 최종 FC 레이어에 대한 비트 폭 지침(log₂(C) 비트)은 정확도 저하를 효과적으로 방지하며, 안정적인 저정밀도 학습을 위한 하한선을 제공한다.
• 이 방법은 혼합 정밀도 하드웨어나 전용 연산 없이도 다양한 DNN(CNN, GAN, LSTM)을 종단 간 저정밀도로 학습시킬 수 있으며, 모든 벤치마크에서 경쟁 가능한 성능을 달성한다.