[논문 리뷰] Is Integer Arithmetic Enough for Deep Learning Training?

Alireza Ghaffari, Marzieh S. Tahaei외 3명|arXiv (Cornell University)|2022. 07. 18.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 딥러닝 학습의 모든 단계—전방 전파, 역전파, 확률적 경사 하강법(SGD)에서 부동소수점 산술을 정수 연산으로 완전히 대체하는 하드웨어 우수한 완전 정수 학습 방법을 제안한다. 동적 지수 스케일링 기반의 선형 고정점 매핑과 비선형 역매핑을 사용함으로써, 초모수 조정, 기울기 클리핑, 분포에 의존하는 조정 없이도 부동소수점 기준선과 거의 동일한 학습 정확도를 달성하며, 분류, 검출, 세분화 작업 전반에서 거의 정확도 손실 없이 성능을 유지한다.

ABSTRACT

The ever-increasing computational complexity of deep learning models makes their training and deployment difficult on various cloud and edge platforms. Replacing floating-point arithmetic with low-bit integer arithmetic is a promising approach to save energy, memory footprint, and latency of deep learning models. As such, quantization has attracted the attention of researchers in recent years. However, using integer numbers to form a fully functional integer training pipeline including forward pass, back-propagation, and stochastic gradient descent is not studied in detail. Our empirical and mathematical results reveal that integer arithmetic seems to be enough to train deep learning models. Unlike recent proposals, instead of quantization, we directly switch the number representation of computations. Our novel training method forms a fully integer training pipeline that does not change the trajectory of the loss and accuracy compared to floating-point, nor does it need any special hyper-parameter tuning, distribution adjustment, or gradient clipping. Our experimental results show that our proposed method is effective in a wide variety of tasks such as classification (including vision transformers), object detection, and semantic segmentation.

연구 동기 및 목표

• 엣지 및 클라우드 플랫폼에서 대규모 딥러닝 모델을 학습하는 데 증가하는 계산 비용과 에너지 소비 문제를 해결하기 위해.
• 정수 산술만으로도 종단 간 딥러닝 학습에서 부동소수점 산술을 완전히 대체할 수 있는지 조사하기 위해.
• 기울기 클리핑, 초모수 조정, 분포에 특화된 조정 없이도 학습 수렴성과 정확도를 유지하는 방법을 개발하기 위해.
• 배치 정규화 및 확률적 경사 하강법을 포함한 모든 핵심 구성 요소에 대해 하드웨어 우수한 방식으로 정수 연산을 수행하기 위해.
• 정수 학습이 부동소수점 학습의 수렴 궤적을 유지하는지 이론적이고 경험적으로 검증하기 위해.

제안 방법

• 텐서에 포함된 최대 지수를 기반으로 부동소수점 텐서에 선형 고정점 매핑을 적용함으로써, 재학습 없이도 동적 스케일링이 가능하다.
• 고정점 값에서 부동소수점으로의 변환을 위해 비선형 역매핑을 적용함으로써, 최소한의 양자화 오차와 편향 없는 기울기 추정을 보장한다.
• 양자화 과정에서 확률적 반올림을 사용하여 기울기 무결성을 유지하고 학습 전반에 걸친 편향 축적을 방지한다.
• 선형 레이어, 컨볼루션, 배치 정규화, 레이어 정규화, 그리고 SGD(모멘텀 및 가중치 감쇠 포함) 등 모든 연산이 정수 산술에서만 수행된다.
• 스케일은 텐서별로 동적으로 계산되며 학습 전반에 걸쳐 안정성을 유지하여 수동 조정이 필요 없도록 한다.
• 이 방법은 분포에 무관하므로, 가중치, 기울기, 입력 데이터의 통계적 특성에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 초모수 조정이나 기울기 클리핑 없이도 부동소수점 학습과 유사한 수렴성과 정확도를 유지하는 완전 정수 학습 파이프라인을 설계할 수 있는가?
• RQ2 제안된 고정점 매핑은 부동소수점 대비 확률적 경사 하강법의 최적성 갭에 어떤 영향을 미치는가?
• RQ3 정수 산술을 사용해 배치 정규화 및 확률적 경사 하강법의 기울기를 계산할 수 있으며, 정확도 손실이 거의 없는가?
• RQ4 8비트 이하로 비트 폭을 줄였을 때(예: int5, int4) 학습 안정성과 모델 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 비전 트랜스포머, 객체 검출, 세분화와 같은 다양한 딥러닝 작업에서 학습 궤적과 최종 모델 성능을 유지하는가?

주요 결과

• ResNet18을 사용한 ImageNet에서 제안된 정수 학습 방법은 부동소수점 기준선의 69.75% 대비 69.25%의 정확도를 기록하여 거의 정확도 손실 없이 성능을 유지한다.
• CIFAR10에서 피인퍼런스된 비전 트랜스포머의 경우, 정수 학습은 98.80%의 정확도를 기록했고 부동소수점 기준선의 99.10%와 거의 유사한 성능을 보였다. 이는 주로 어텐션 기반 모델에서 강력한 성능을 의미한다.
• COCO에서 Faster R-CNN를 사용한 객체 검출의 경우, 정수 학습의 mAP는 37.40%였고 부동소수점 기준선의 37.80%와 거의 동일하여 성능 저하가 거의 없음을 확인했다.
• DeepLab-V1을 사용한 세분화 작업에서 VOC에서의 mIOU는 정수 학습 시 74.73%였고 부동소수점 기준선의 75.00%와 유사하여, 고밀도 예측 작업 전반에서 일관성을 입증했다.
• 이 방법은 배치 정규화와 전체 SGD를 정수 전용으로 수행하며, 정확도 손실이 거의 없는 것으로 확인되었고, 저자들의 지식에 비추어 볼 때 이는 최초의 구현이다.
• int5로 학습할 경우 정확도가 급격히 떨어졌고(CIFAR10에서 88.5%로 감소), int4는 발산을 보여 8비트 정수 산술이 안정적인 학습을 위한 실질적인 하한임을 입증했다.