[논문 리뷰] WRPN & Apprentice: Methods for Training and Inference using Low-Precision Numerics

Asit Mishra, Debbie Marr|arXiv (Cornell University)|2018. 03. 01.

Model Reduction and Neural Networks참고 문헌 11인용 수 5

한 줄 요약

이 논문은 정확도를 희생시키지 않고 2비트 가중치와 8비트 활성화를 사용하는 저해상도 수치로 딥 네ural 네트워크를 훈련하고 추론하는 데 소프트웨어 기반의 세 가지 방법인 WRPN, Apprentice, WRPN+Apprentice를 제안한다. 필터 넓히기, 지식 증류, 하이브리드 최적화를 조합함으로써 이 방법들은 저해상도 설정에서 최신 기술 수준의 정확도를 달성하며, 기준 전체 정밀도 네트워크와 이전의 저해상도 접근 방식을 모두 능가하는 모델을 제공한다.

ABSTRACT

Today's high performance deep learning architectures involve large models with numerous parameters. Low precision numerics has emerged as a popular technique to reduce both the compute and memory requirements of these large models. However, lowering precision often leads to accuracy degradation. We describe three schemes whereby one can both train and do efficient inference using low precision numerics without hurting accuracy. Finally, we describe an efficient hardware accelerator that can take advantage of the proposed low precision numerics.

연구 동기 및 목표

• 저해상도 딥 네럴 네트워크(DNN)에서 훈련 및 추론 시 흔히 발생하는 정확도 저하 문제를 해결하기 위해.
• 활성화 및 가중치의 정밀도를 낮춤으로써 메모리 및 계산 비용을 줄이기 위해, 특히 메모리 프로파일을 지배하는 곳에서.
• 특히 대용량 배치 훈련 및 실시간 추론 환경에서 극단적인 양자화에도 불구하고 정확도를 유지하거나 향상시키기 위해.
• 특히 2비트 가중치와 8비트 활성화를 위한 저해상도 연산에 최적화된 하드웨어 가속기를 설계하기 위해.
• 알고리즘적 및 아키텍처적 혁신을 통해 저해상도 DNN이 전체 정밀도 정확도를 따라하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• WRPN(Wide Reduced-Precision Networks)은 레이어의 필터 수를 늘린다—특히 레이어의 첫 1/3에서 정밀도가 낮아진 활성화 및 가중치로 인한 정확도 손실를 보완하기 위해.
• Apprentice는 지식 증류를 사용하며, 전체 정밀도의 교사 네트워크가 로짓과 소프트맥스 출력을 일치시킴으로써 저해상도 학생 네트워크의 훈련을 이끈다.
• WRPN+Apprentice는 필터 넓히기와 증류를 조합하여 두 기법을 동시에 적용함으로써 정확도 격차를 더욱 좁힌다.
• 제안된 가속기는 64개의 처리 엔진을 갖춘 시스톨릭 어레이이며, 2b 가중치 및 8b 활성화 행렬 곱셈에 최적화되어 있으며, 승수기 대신 비트 병렬 비교를 사용한다.
• 가속기는 32비트 부호 있는 누적기 사용하고 부동소수점 유닛을 회피하여 동일 공정 노드에서 전체 정밀도 설계 대비 15배 더 작은 면적과 12배 더 높은 에너지 효율성을 달성한다.
• 이 시스템은 소프트웨어 기반 기법을 활용하여 저해상도 수치로 훈련과 추론을 모두 지원하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 2비트 가중치와 8비트 활성화를 사용하는 저해상도 DNN이 전체 정밀도 모델의 정확도를 달성하거나 초월할 수 있는가?
• RQ2 필터 넓히기가 활성화 및 가중치의 양자화로 인한 정확도 손실를 완화하는 데 효과적인가?
• RQ3 전체 정밀도 교사 네트워크로부터의 지식 증류가 저해상도 학생 네트워크의 훈련 중 정확도를 향상시키는가?
• RQ4 저배치 및 고배치 추론 환경에서 정밀도 감소와 모델 크기 간의 최적의 트레이드오프는 무엇인가?
• RQ5 특화된 하드웨어 가속기가 제안된 저해상도 수치를 효율적으로 지원하면서도 고처리량과 저전력 작동을 가능하게 하는가?

주요 결과

• 2비트 가중치와 8비트 활성화를 사용하는 ResNet-44에 대해 WRPN+Apprentice는 5.8%의 상위 1위 오차를 기록하여 기준 전체 정밀도 오차 6.5%를 초월한다.
• 2비트 가중치와 8비트 활성화를 사용하는 ResNet-56에 대해 WRPN+Apprentice는 5.6%의 상위 1위 오차를 기록하여 기준 전체 정밀도 오차 6.2%를 뛰어넘는다.
• Apprentice 기법은 전체 정밀도와 저해상도 모델 간의 정확도 격차를 줄이며, 2b 가중치와 8b 활성화를 사용할 때 ResNet-56에서 5.8% 오차(기준 6.2%)를 기록한다.
• 제안된 가속기는 동일 공정 노드에서 전체 정밀도 설계 대비 15배 더 작은 면적과 12배 더 높은 에너지 효율성을 확보한다.
• 대용량 배치 훈련 및 추론에서 활성화 메모리가 지배적이므로, 가중치 정밀도 감소보다 활성화 정밀도 감소가 더 큰 시스템 수준의 이점을 제공한다.
• 필터 넓히기와 증류의 조합은 저해상도 모델을 처음부터 훈련시키는 것보다 더 높은 정확도에 수렴하게 하며, 일부 경우에서 더 빠른 수렴이 관찰된다.