[논문 리뷰] CPT: Efficient Deep Neural Network Training via Cyclic Precision

Yonggan Fu, Han Guo외 5명|arXiv (Cornell University)|2021. 01. 25.

Machine Learning and Data Classification참고 문헌 57인용 수 11

한 줄 요약

이 논문은 Cyclic Precision Training (CPT)을 제안하며, 이는 DNN 학습 중에 두 경계 사이를 주기적으로 정밀도를 변화시켜 최적화 및 효율성을 향상시키는 동적 저정밀도 학습 방법이다. CPT는 일반화 성능을 향상시키고 학습 분산을 감소시켜, 정확도를 유지하거나 향상시키면서도 다양한 모델과 데이터셋에서 최대 48%까지 학습 효율을 높인다.

ABSTRACT

Low-precision deep neural network (DNN) training has gained tremendous attention as reducing precision is one of the most effective knobs for boosting DNNs' training time/energy efficiency. In this paper, we attempt to explore low-precision training from a new perspective as inspired by recent findings in understanding DNN training: we conjecture that DNNs' precision might have a similar effect as the learning rate during DNN training, and advocate dynamic precision along the training trajectory for further boosting the time/energy efficiency of DNN training. Specifically, we propose Cyclic Precision Training (CPT) to cyclically vary the precision between two boundary values which can be identified using a simple precision range test within the first few training epochs. Extensive simulations and ablation studies on five datasets and eleven models demonstrate that CPT's effectiveness is consistent across various models/tasks (including classification and language modeling). Furthermore, through experiments and visualization we show that CPT helps to (1) converge to a wider minima with a lower generalization error and (2) reduce training variance which we believe opens up a new design knob for simultaneously improving the optimization and efficiency of DNN training. Our codes are available at: https://github.com/RICE-EIC/CPT.

연구 동기 및 목표

• 큰 딥 네트워크(DNN)의 학습에 따른 높은 계산 비용과 에너지 소비 문제를 해결하기 위해, 특히 자원이 제한된 엣지 디바이스를 대상으로 한다.
• 정적 저정밀도 학습의 한계를 극복하기 위해, 학습 전반에 걸쳐 정밀도를 고정하는 방식은 수렴과 일반화를 저해할 수 있다.
• 정밀도와 학습률 간의 유사성에 착안하여, 동적 정밀도 스케줄링을 새로운 최적화 장치로 탐색한다.
• 초기 학습 단계에서 최적의 정밀도 경계를 최소한의 오버헤드로 자동으로 탐지할 수 있는 실용적이고 자동 조정 가능한 방법을 개발한다.
• 이미지 분류 및 언어 모델링을 포함한 다양한 모델과 작업에서 학습 효율성과 모델 정확도 향상이 일관되게 이루어지도록 한다.

제안 방법

• DNN 학습 중에 사용자가 정의한 두 경계 사이를 주기적으로 정밀도를 변화시키는 Cyclic Precision Training (CPT) 프레임워크를 제안한다.
• 초기 몇 에포크 동안 단순한 정밀도 범위 테스트를 통해 정밀도의 최적 하한 및 상한을 거의 비용이 들지 않는 방식으로 자동으로 식별한다.
• 정밀도 변화에 대해 코사인 형태의 주기적 스케줄을 적용하여, 탐색(낮은 정밀도)과 수렴(높은 정밀도)의 균형을 이루도록 한다.
• 표준 DNN 학습 파이프라인에 CPT를 통합하여 가중치, 활성화, 기울기, 오차에 대한 혼합 정밀도 학습을 지원한다.
• 다양한 주기적 패턴(예: 삼각형, 코사인 감쇠)을 지원하고, 성능 및 내구성에 미치는 영향을 평가한다.
• 낮은 정밀도 기울기와 오차 보정을 통해 역전파를 구현하여 학습 안정성과 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 정적 저정밀도 학습과 비교해 동적으로 정밀도를 변화시키는 것이 DNN 학습에서 최적화 및 일반화 성능을 향상시키는가?
• RQ2 최소한의 계산 오버헤드로 초기 학습 단계에서 최적의 정밀도 경계를 자동으로 식별할 수 있는가?
• RQ3 CPT는 다양한 모델과 데이터셋에서 넓은 최소값으로의 수렴과 일반화 오차에 어떤 영향을 미치는가?
• RQ4 다양한 주기적 정밀도 스케줄링(예: 코사인, 삼각형)이 학습 효율성과 모델 정확도에 어떤 영향을 미치는가?
• RQ5 CPT는 다양한 DNN 아키텍처와 작업에서 정확도와 학습 효율성의 파레토 경계를 일관되게 향상시키는가?

주요 결과

• CPT는 ResNet-74와 CIFAR-100에서 정적 기준선 대비 최대 48.0%의 계산 비용 절감과 동시에 테스트 정확도를 최대 2.03% 향상시킨다.
• CIFAR-100, ImageNet 및 언어 모델링 작업을 포함한 11개의 모델과 5개의 데이터셋에서 CPT는 일관되게 더 높은 정확도(최대 +2.03%)와 더 낮은 계산 비용(최소 -48.0%)을 달성한다.
• CPT는 학습 분산을 감소시켜 반복 실험에서 정확도 분포가 더 좁아진 박스플롯을 보이며, 더 안정적인 학습을 나타낸다.
• 다양한 주기적 패턴(코사인, 삼각형, 코사인 감쇠)을 적용한 CPT는 정적 기준선을 항상 초월하며, 일부 모델에서는 삼각형 패턴이 코사인 스케줄을 초월하는 정확도를 달성한다.
• 손실 표면 시각화 결과 CPT는 일반화 오차가 낮고 더 넓은 최소값으로 수렴하는 것으로 확인되어 최적화 성능 향상의 근거를 제공한다.
• 정밀도 범위 테스트는 첫 몇 에포크 내에 최적 경계를 거의 비용 없이 식별할 수 있어, 사전 하이퍼파rameter 조정 없이도 CPT의 실용적 구현이 가능하다.