[논문 리뷰] Rethinking Numerical Representations for Deep Neural Networks

Parker Hill, Babak Zamirai외 10명|arXiv (Cornell University)|2018. 08. 07.

Numerical Methods and Algorithms참고 문헌 16인용 수 7

한 줄 요약

이 논문은 딥 뉴럴 네트워크(DNN) 추론을 위한 커스텀 정밀도 부동소수점 및 고정소수점 표현을 효율적으로 탐색하는 새로운 방법을 제안한다. GoogLeNet과 VGG와 같은 프로덕션 수준의 모델에서 평균 7.6배의 성능 향상을 이룩했으며, 정확도 손실은 1% 미만이다. 이는 마지막 레이어 활성화를 사용하여 정확도를 예측하는 빠른 검색 기법을 도입함으로써, 전수 평가 없이도 최적의 정밀도 설정을 신속하게 식별할 수 있게 해준다.

ABSTRACT

With ever-increasing computational demand for deep learning, it is critical to investigate the implications of the numeric representation and precision of DNN model weights and activations on computational efficiency. In this work, we explore unconventional narrow-precision floating-point representations as it relates to inference accuracy and efficiency to steer the improved design of future DNN platforms. We show that inference using these custom numeric representations on production-grade DNNs, including GoogLeNet and VGG, achieves an average speedup of 7.6x with less than 1% degradation in inference accuracy relative to a state-of-the-art baseline platform representing the most sophisticated hardware using single-precision floating point. To facilitate the use of such customized precision, we also present a novel technique that drastically reduces the time required to derive the optimal precision configuration.

연구 동기 및 목표

• 대규모 DNN 추론의 효율성과 정확성에 영향을 미치는 수치 정밀도의 영향을 이해하는 데 있어 핵심적인 격차를 해결하기 위해.
• 작은 네트워크에서의 발견이 GoogLeNet과 VGG와 같은 프로덕션 수준의 DNN에 일반화된다는 가정을 도전하기 위해.
• 전수 검색 없이도 최적의 커스텀 정밀도 설정을 신속하고 확장 가능하게 식별할 수 있는 방법을 개발하기 위해.
• 큰 모델에서 부동소수점 표현이 고정소수점보다 성능이 뛰어나며, 동일한 정확도를 유지하기 위해 훨씬 적은 비트 폭을 필요로 한다는 것을 입증하기 위해.
• 향후 DNN 하드웨어 플랫폼이 정밀도 인식 설계를 통해 더 높은 성능과 에너지 효율성을 달성할 수 있도록 지원하기 위해.

제안 방법

• 저자들은 DNN의 마지막 레이어에서의 활성화를 사용하여 다양한 정밀도 설정 하에서 정확도를 추정하는 예측 모델을 도입하여, 전체 추론 실행이 필요한 경우를 줄였다.
• 이 모델은 다양한 DNN(예: LeNet, CIFARNET)를 대상으로 교차 검증을 통해 훈련되어 아키텍처 간 일반화를 보장한다.
• 두 단계로 구성된 정밀도 조정 과정은 검색당 오직 두 개의 정밀도 설정만 평가함으로써 전수 검색과 동일한 결과를 도출하지만, 170배 빠른 성능을 달성한다.
• 예측된 정확도에 기반해 정밀도 설정을 동적으로 조정함으로써, 목표 정확도(예: 99%)를 최소한의 성능 손실로 달성한다.
• 이 기법은 GoogLeNet과 VGG를 포함한 대규모 DNN에서 검증되었으며, 커스텀 액celerator 패브릭에서 성능 향상을 측정하였다.
• 부동소수점 및 고정소수점 표현은 광범위한 설계 공간에서 체계적으로 평가되었으며, 정밀도의 지수/지수 부분 또는 정수/소수 부분의 비트 폭을 최적의 트레이드오프를 위해 조정하였다.

실험 결과

연구 질문

• RQ1 DNN 추론에 필요한 정밀도 요구사항이 다양한 네트워크 아키텍처 간에 일반화되는가, 특히 소형 모델에서 대형 모델로의 일반화가 가능한가?
• RQ2 GoogLeNet과 VGG와 같은 대규모 DNN에 적용했을 때, 고정소수점과 부동소수점 표현 간의 정확도 및 효율성은 어떻게 비교되는가?
• RQ3 마지막 레이어 활성화를 기반으로 한 빠른 예측 모델이 전체 추론 평가 없이도 최적의 정밀도 설정을 정확히 식별할 수 있는가?
• RQ4 생산 수준의 DNN에서 높은 추론 정확도를 유지하기 위해 고정소수점 및 부동소수점 표현에 필요한 최소 정밀도는 얼마인가?
• RQ5 커스텀 정밀도 설계를 통해 정확도를 손상시키지 않고 추론 속도를 얼마나 향상시킬 수 있는가?

주요 결과

• GoogLeNet은 수용 가능한 정확도를 확보하기 위해 고정소수점 표현에서 40비트 이상이 필요하며, 이는 이전의 소형 네트워크 연구에서 예상된 바보다 훨씬 높다.
• 17비트 부동소수점 표현은 단정밀도 부동소수점과 동일한 정확도를 달성하지만, 하드웨어 면적과 전력 소모가 훨씬 적다.
• 제안된 검색 방법은 전수 검색과 동일한 결과를 도출하지만, 검색 시간을 170배 단축시켰으며, 검색당 평균 두 개의 설정만 평가한다.
• GoogLeNet, VGG 및 기타 대규모 DNN에서 평균 추론 성능 향상은 7.6배이며, 정확도 저하율은 1% 미만이다.
• 큰 모델에서는 부동소수점 표현이 고정소수점보다 더 효율적이며, 정확도를 유지하기 위해 더 적은 비트 수가 필요하다.
• 예측 모델은 실제 정확도와 0.96의 상관관계를 보이며, 최소한의 계산 비용으로 신뢰할 수 있는 정밀도 설정 선택이 가능하다.