[논문 리뷰] Deep Learning with Limited Numerical Precision

Suyog Gupta, Ankur Agrawal외 2명|arXiv (Cornell University)|2015. 02. 09.

Numerical Methods and Algorithms참고 문헌 15인용 수 1,075

한 줄 요약

이 논문은 심층 신경망을 확률적 반올림을 사용하여 오직 16비트 고정소수점 산술만으로 훈련시킬 수 있음을 보여주며, 32비트 부동소수점 훈련과 거의 동일한 분류 정확도를 달성한다. 주요 기여는 심층 학습의 노이즈 내성과 확률적 반올림을 활용하여 정밀도 손실을 완화함으로써 고성능, 에너지 효율적인 훈련을 가능하게 하는 저비용 오버헤드의 FPGA 가속기와 소프트웨are의 공동 설계 접근법이다.

ABSTRACT

Training of large-scale deep neural networks is often constrained by the available computational resources. We study the effect of limited precision data representation and computation on neural network training. Within the context of low-precision fixed-point computations, we observe the rounding scheme to play a crucial role in determining the network's behavior during training. Our results show that deep networks can be trained using only 16-bit wide fixed-point number representation when using stochastic rounding, and incur little to no degradation in the classification accuracy. We also demonstrate an energy-efficient hardware accelerator that implements low-precision fixed-point arithmetic with stochastic rounding.

연구 동기 및 목표

• 심층 신경망이 정확도 저하 없이 저정밀도 고정소수점 산술로 훈련될 수 있는지 조사하기.
• 특히 확률적 반올림을 포함한 다양한 반올림 방식이 저정밀도 환경에서 네트워크 훈련에 미치는 영향 평가하기.
• 최소한의 면적과 전력 오버헤드로 저정밀도 고정소수점 산술을 지원하는 하드웨어 가속기 설계 및 프로토타이핑하기.
• 알고리즘적 노이즈 내성과 저수준 하드웨어 근사화를 공동 최적화하여 에너지 효율적이고 고성능의 심층 학습 훈련을 가능하게 하기.

제안 방법

• 저자들은 심층 신경망 훈련에서 가중치, 활성화, 기울기를 모두 16비트 고정소수점 표현으로 사용한다.
• 산술 연산 중에서 체계적 편향을 줄이고 수렴성을 향상시키기 위해 확률적 반올림을 적용한다.
• 고성능를 위해 FPGA에 웨이브프론트 시스톨릭 어레이 아키텍처를 구현하여 행렬 곱셈을 수행한다.
• 확률적 반올림은 출력당 하나의 DSP 유닛을 사용하여 LFSR를 활용해 난수를 생성함으로써 구현된다.
• 오버플로우 및 언더플로우는 상위 비트(MSBs)의 패턴 검출을 통해 감지되며, 필요에 따라 포화 처리가 적용된다.
• 지연을 최소화하고 최대 주파수를 극대화하기 위해 소형 피이핑된 데이터플로우와 국소적 인터커넥트를 사용한다.

실험 결과

연구 질문

• RQ1 심층 신경망은 오직 16비트 고정소수점 산술만으로 효과적으로 훈련될 수 있는가?
• RQ2 반올림 방식의 선택—특히 확률적 반올림 대 일반 반올림—이 훈련 안정성과 정확도에 어떤 영향을 미치는가?
• RQ3 심층 학습용 고정소수점 가속기에 확률적 반올림을 통합할 경우 하드웨어 오버헤드는 얼마나 되는가?
• RQ4 저정밀도 고정소수점 가속기는 일반 프로세서와 GPU에 비해 경쟁 가능한 성능과 에너지 효율성을 달성할 수 있는가?

주요 결과

• MNIST 및 CIFAR10에서 16비트 고정소수점 산술과 확률적 반올림을 사용한 심층 네트워크는 32비트 부동소수점 훈련과 거의 동일한 분류 정확도를 달성한다.
• FPGA 기반 가속기는 7W의 전력 소비로 260 G-ops/s의 처리량을 달성하여 에너지 효율성은 37 G-ops/s/W에 이른다.
• 확률적 반올림 모듈은 가속기의 총 DSP 자원의 4% 미만인 28개의 DSP 유닛만을 추가하여 매우 낮은 하드웨어 오버헤드를 입증한다.
• 웨이브프론트 시스톨릭 어레이 아키텍처는 이전 연산이 완료되기 전에 MAC 유닛을 피이핑된 방식으로 재사용함으로써 고성능를 가능하게 한다.
• 시스템은 Kintex-325T FPGA에서 166 MHz로 동작하며, 에너지 효율성에서 일반 프로세서와 GPU보다 10~30배 뛰어나다.
• 결과는 확률적 반올림이 저정밀도 훈련에 필수적임을 확인하며, 일반 반올림 방식은 심각한 성능 저하를 초래한다.