[논문 리뷰] E2-Train: Training State-of-the-art CNNs with Over 80% Less Energy

Yue Wang, Ziyu Jiang외 5명|arXiv (Cornell University)|2019. 10. 29.

Advanced Neural Network Applications인용 수 4

한 줄 요약

E2-Train는 세 가지 상호보완적인 전략인 확률적 미니배치 생략, 선택적 레이어 업데이트, 기반 기반 저정밀도 역전파를 통해 CNN 학습 에너지를 최대 90%까지 감소시키는 혁신적인 프레임워크를 제안한다. CIFAR-10에서 ResNet-74를 학습할 경우, 정확도 상위 1%가 2% 감소하는 데서도 90% 이상의 에너지 절감을 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) have been increasingly deployed to edge devices. Hence, many efforts have been made towards efficient CNN inference on resource-constrained platforms. This paper attempts to explore an orthogonal direction: how to conduct more energy-efficient training of CNNs, so as to enable on-device training? We strive to reduce the energy cost during training, by dropping unnecessary computations, from three complementary levels: stochastic mini-batch dropping on the data level; selective layer update on the model level; and sign prediction for low-cost, low-precision back-propagation, on the algorithm level. Extensive simulations and ablation studies, with real energy measurements from an FPGA board, confirm the superiority of our proposed strategies and demonstrate remarkable energy savings for training. For example, when training ResNet-74 on CIFAR-10, we achieve aggressive energy savings of >90% and >60%, while incurring a top-1 accuracy loss of only about 2% and 1.2%, respectively. When training ResNet-110 on CIFAR-100, an over 84% training energy saving is achieved without degrading inference accuracy.

연구 동기 및 목표

• 엣지 디바이스에서 CNN 학습의 높은 에너지 비용이 디바이스 내 모델 적응을 제한하는 문제를 해결한다.
• 추론 최적화와 대비하여 CNN 학습의 에너지 효율성을 별도의 도전 과제로 탐색한다.
• 데이터, 모델, 알고리즘 수준에서의 에너지 소비를 통합적으로 줄이는 접근법을 개발한다.
• 모델 정확도를 훼손하지 않으면서 학습 에너지를 극도로 낮춰 실용적인 디바이스 내 학습을 가능하게 한다.

제안 방법

• 선택된 배치에서 불필요한 순방향 및 역방향 전파를 생략하기 위해 확률적 미니배치 생략을 구현한다.
• 역전파 중에 더 중요한 레이어를 식별하고, 덜 중요한 레이어의 업데이트를 생략함으로써 선택적 레이어 업데이트를 적용한다.
• 기반 예측을 사용하여 기울기를 이진 값으로 근사함으로써 저정밀도, 저에너지 역전파를 가능하게 한다.
• 세 전략을 통합된 프레임워크에 통합하여 학습 단계 전반에 걸쳐 에너지 절감을 극대화한다.
• 실제 에너지 측정을 FPGA 플랫폼에서 수행하여 실용적인 에너지 효율성을 보장한다.
• 적응형 임계값과 동적 스케줄링을 통해 에너지 절감과 정확도 간의 트레이드오프를 최적화한다.

실험 결과

연구 질문

• RQ1 모델 정확도를 떨어뜨리지 않으면서 CNN 학습의 에너지 소비를 어느 정도까지 줄일 수 있는가?
• RQ2 확률적 미니배치 생략 전략이 학습 중 계산 부하를 얼마나 효과적으로 줄이는가?
• RQ3 선택적 레이어 업데이트 전략은 에너지 소비를 최소화하면서도 모델 성능을 유지할 수 있는가?
• RQ4 기반 기반 기울기 근사화 전략이 학습 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ5 다중 수준의 에너지 절감 전략이 결합되었을 때 전체 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 ResNet-74를 학습할 경우 E2-Train는 정확도 상위 1%가 2% 감소하는 데서도 90% 이상의 에너지 절감을 달성한다.
• CIFAR-100에서 ResNet-110을 학습할 경우, 원래의 추론 정확도를 유지하면서도 84% 이상의 에너지 감소를 이룬다.
• CIFAR-10에서 단지 1.2%의 정확도 상위 1% 손실로도 60%의 에너지 절감을 달성하여 뛰어난 효율-정확도 트레이드오프를 보여준다.
• FPGA 보드에서의 실제 에너지 측정 결과는 제안된 에너지 절감 전략의 실용성과 확장 가능성을 확인한다.
• 데이터 수준, 모델 수준, 알고리즘 수준의 최적화가 결합될 경우 개별 구성 요소를 넘어서 상호보완적인 에너지 절감 효과를 낳는다.
• 저정밀도 역전파를 위한 기반 예측은 수렴성에 영향을 주지 않으면서도 메모리 및 계산 에너지를 크게 줄인다.